Googlebot’un noindex etiketlerini görmezden gelmesinin temel nedeni, teknik engellerin tarayıcının sayfadaki yönergeye erişmesini ve bunu okumasını engellemesidir. En yaygın neden, Googlebot’un URL’yi taramasını engelleyen robots.txt dosyanızla olan çelişkidir. Tarayıcı sayfayı getiremezse, noindex etiketini asla göremez ve geri bağlantılar (backlinkler) veya site haritası girdileri gibi harici sinyallere dayanarak URL’yi yine de dizine ekleyebilir.
Googlebot noindex etiketli sayfaları neden hâlâ dizine ekliyor?
Bir sayfaya noindex yönergesi eklediğinizde, dizine ekleme aşamasında Googlebot’a bir talimat vermiş olursunuz. Ancak bu talimatın yerine getirilmesi için Googlebot’un öncelikle tarama aşamasını tamamlaması gerekir. Tarama ve dizine ekleme, Google Arama sürecindeki iki farklı adımdır. Tarama aşaması kesintiye uğrar veya kısıtlanırsa, HTML içinde bulunan dizine ekleme talimatları arama motoru için görünmez kalır.
Birçok SEO uzmanı, noindex etiketinin evrensel bir kalkan olduğunu varsayar. Gerçekte bu, görünürlük gerektiren bir istektir. Sunucunuz Googlebot’u kapıda durduran bir durum kodu veya yapılandırma döndürürse, bot noindex etiketinizin bulunduğu ‘oturma odasına’ asla ulaşamaz. Bu durum genellikle sayfanın arama sonuçlarında ‘Bu sayfa için bilgi yok’ diyen bir snippet ile veya sadece çıplak bir URL ile görünmesiyle sonuçlanır.
robots.txt ve noindex yönergesi arasındaki çelişki
En sık görülen hata, bir geliştiricinin robots.txt dosyasında bir dizini engellemesi ve aynı anda bu dizin içindeki sayfalara bir noindex etiketi eklemesidir. Bu durum mantıksal bir çelişki yaratır. robots.txt dosyası Googlebot’a şunu söyler: ‘Bu URL’yi tarama.’ Googlebot buna ulaştığı için HTML’i asla getirmez. HTML’i asla getirmediği için de etiketi asla göremez.
Bunu düzeltmek için, dizinden kaldırmak istediğiniz belirli URL’ler için robots.txt dosyanızda taramaya izin vermelisiniz. Googlebot’un sayfayı taramasına izin verildiğinde, noindex etiketini görecek ve URL’yi arama sonuçlarından derhal kaldıracaktır. Sayfanın Google Search Console üzerinden dizinden çıkarıldığını doğruladıktan sonra, tarama bütçesinden tasarruf etmek için onu tekrar robots.txt’de engellemeyi seçebilirsiniz.
- URL’nin robots.txt dosyanızdaki bir ‘Disallow’ kuralı tarafından engellenip engellenmediğini kontrol edin.
- Noindex etiketinin bölümüne değil, bölümüne yerleştirildiğinden emin olun.
- HTTP başlığındaki X-Robots-Tag’in bir CDN veya önbellek katmanı tarafından silinmediğini doğrulayın.
- Googlebot’un tam olarak ne gördüğünü görmek için Google Search Console’daki URL İnceleme Aracı’nı kullanın.
Googlebot JavaScript tabanlı noindex etiketlerini nasıl ele alır?
Modern web uygulamaları, meta etiketleri dinamik olarak eklemek için genellikle React veya Angular gibi çatılar kullanır. Googlebot JavaScript’i işleyebilse de bu süreç anlık değildir. Googlebot önce HTML’in ‘ham’ bir taramasını gerçekleştirir. Noindex etiketi ilk HTML kaynağında yoksa ve yalnızca JavaScript yürütüldükten sonra ekleniyorsa bir gecikme yaşanır.
Bu gecikme sırasında Googlebot sayfanın ilk sürümünü dizine ekleyebilir. Oluşturma (rendering), daha fazla kaynak gerektiren ikincil bir süreçtir. Sunucunuz yavaşsa veya JavaScript karmaşıksa, oluşturma başarısız olabilir veya zaman aşımına uğrayabilir. Bu gibi durumlarda noindex etiketi asla algılanmaz. Gizli kalması gereken kritik sayfalar için, noindex etiketini statik HTML yanıtında veya bir HTTP başlığı aracılığıyla sunmak her zaman daha güvenlidir.
Çoğu site için Google Arama öncelikle içeriğin mobil sürümünü dizine ekler.
Google Search Central
Dosya boyutu sınırlarının yönerge algılaması üzerindeki etkisi
Googlebot’un dosya başına ne kadar veri işlediği konusunda belirli sınırları vardır. Büyük HTML dosyaları, gözden kaçan yönergelere yol açabilir. Sayfanız ağır satır içi (inline) CSS, büyük Base64 görselleri veya belgenin üst kısmındaki aşırı izleme betikleriyle (script) doluysa, noindex etiketi çok aşağıya itilebilir.
Google Arama için tarama yaparken Googlebot, desteklenen bir dosya türünün ilk 2MB’ını tarar.
Google Search Central
Noindex etiketiniz içeriğin ilk 2MB’ından sonra görünürse, Googlebot talimata ulaşmadan önce okumayı durduracaktır. Bu, standart sayfalar için nadir olsa da büyük veri tabloları veya otomatik oluşturulan dokümantasyon sayfaları için yaygındır. Bu teknik sınırlar nedeniyle kesintiye uğramamak için meta etiketlerinizin bölümünün en üstüne yakın olduğundan her zaman emin olun.
Alien Road Googlebot tarama yönetimini nasıl uygular
Alien Road olarak tarama yönetimini, özel bir CMS kullanan büyük bir e-ticaret sitesi gibi her müşteri projesi için temel bir adım olarak ele alıyoruz. Sayfaların neden dizine eklendiğini tahmin etmiyoruz; bu çelişkileri belirlemek ve çözmek için yapılandırılmış bir süreç kullanıyoruz. Ekibimiz, arama motoru görünürlüğünün müşterinin iş hedefleriyle uyumlu olmasını sağlamak için belirli bir iş akışı izler.
Öncelikle, Googlebot Smartphone ve Googlebot Desktop’ın siteyle nasıl etkileşime girdiğini görmek için bir log dosyası analizi gerçekleştiriyoruz. Tarama hatalarını gösteren durum kodlarını arıyoruz. Örneğin, bir Shopify mağazası için tipik bir çalışmada, noindex girişimlerine rağmen binlerce ‘filtre’ sayfasının dizine eklendiğini keşfedebiliriz. Ardından, Google’ın noindex talimatını görmesini engelleyecek şekilde bu filtrelerin engellenip engellenmediğini görmek için robots.txt’yi kontrol ediyoruz.
- Keşif: ‘site:’ operatörlerini ve Search Console raporlarını kullanarak gizlenmesi gereken dizine eklenmiş sayfaları belirliyoruz.
- Denetim (Audit): robots.txt kurallarını, bu belirli URL’lerde noindex etiketlerinin varlığıyla karşılaştırıyoruz.
- Ayarlama: Googlebot’un noindex etiketini işleyebilmesi için robots.txt’deki URL’lere geçici olarak izin veriyoruz (‘Allow’).
- Doğrulama: URL’lerin ‘Hariç Tutuldu’ (‘Excluded’) durumuna geçmesini onaylamak için ‘Dizin Kapsamı’ raporunu izliyoruz.
- Temizlik: Kaldırılması gereken PDF gibi HTML olmayan dosyalar için X-Robots-Tag başlıkları uyguluyoruz.
Bu sistematik yaklaşım, düşük değerli sayfalarda tarama bütçesi harcamamamızı sağlar. Googlebot’un noindex sinyalini net bir şekilde görebilmesini sağlayarak, arama motorunun enerjisini müşterilerimiz için gerçekten dönüşüm sağlayan sayfalara odaklamasına yardımcı oluyoruz. Canlı sunucuya göndermeden önce her değişikliği bir hazırlık (staging) ortamında test ederek yaygın tuzaklardan kaçınıyoruz.
Googlebot x-robots-tag başlıklarını neden görmezden gelir?
X-Robots-Tag, sunucu tarafından gönderilen bir HTTP başlığıdır. Özellikle HTML olmayan dosyalar için meta etiketlere sağlam bir alternatiftir. Ancak sunucu yapılandırmanız yanlışsa başarısız olabilir. Örneğin, bir yük dengeleyici veya önbellekleme eklentisi kullanıyorsanız, başlık Googlebot’a ulaşmadan silinebilir. Ek olarak, sayfa 404 veya 500 hatası döndürürse, 404 zamanla doğal olarak dizinden çıkmaya yol açsa da Googlebot başlıkları tamamen görmezden gelebilir.
Bir diğer sorun da bir site haritasında ‘noindex’ yönergesinin kullanılmasıdır. Özel bir niteliğe sahip bir URL’yi site haritasına koymanın onu aramadan kaldıracağı yaygın bir mittir. Google, XML site haritalarının içindeki noindex yönergelerini görmezden gelir. Site haritaları hariç tutmak için değil, keşif içindir. Bir sayfanın kaybolmasını istiyorsanız, talimatın sayfanın kendisinde veya HTTP başlığında olması gerekir.
Noindex uygulamanızı doğrulamak için pratik adımlar
Yapılandırmanızın doğru olduğundan emin olmak için çeşitli araçlar kullanmalısınız. İlk adım Google Search Console URL İnceleme aracıdır. Bu araç, bir sayfanın ‘Canlı Test’ sürümünü görmenizi sağlar. Canlı test, sayfanın dizine ekleme için uygun olduğunu gösteriyorsa, bu Googlebot’un noindex etiketinizi göremediği anlamına gelir. Ham HTML’i ve HTTP başlıklarını görmek için araçtaki ‘Yanıt’ (‘Response’) sekmesini kontrol edin.
Ayrıca çakışan etiketleri de kontrol etmelisiniz. Bir etiket ‘index’ ve diğeri ‘noindex’ diyorsa, Googlebot genellikle daha kısıtlayıcı olanı seçecektir ancak bu güvenilir bir strateji değildir. Yalnızca tek bir net yönergenin bulunduğundan emin olmak için kodunuzu temizleyin. SEO için bir eklenti kullanıyorsanız, manuel ayarlarınızla çakışan varsayılan bir ‘index’ etiketi eklemediğini doğrulayın.
Bu hafta nereden başlamalı
Google Search Console’u açıp ‘Dizin Oluşturma’ bölümüne giderek başlayın. ”Noindex’ etiketi nedeniyle hariç tutuldu’ raporunu arayın ve bunu ”Robots.txt’ ile engellenmesine rağmen dizine eklendi’ uyarısı ile karşılaştırın. Son kategoriye giren ve kaldırılmasını istediğiniz sayfalar görürseniz, bu belirli yollar için taramaya izin vermek üzere robots.txt dosyanızı güncelleyin. Bu basit değişiklik, Googlebot’un noindex etiketlerinizi görmesine ve arama sonuçlarını birkaç tarama döngüsü içinde buna göre güncellemesine olanak tanır.