Google dizin kapsamı hataları, Googlebot web sayfalarınızı taramaya veya dizine eklemeye çalışırken engellerle karşılaştığında ortaya çıkar. Bu sorunlar, URL’leri dizine eklenmiş veya hariç tutulmuş olarak sınıflandıran Google Search Console Sayfa Dizini raporunda görülür. Google tarafından sağlanan belirli hata kodlarını belirleyerek, içeriğinizin arama sonuçlarında görünmesini engelleyen teknik engelleri, yönlendirme döngülerini veya kalite sorunlarını sistematik olarak ele alabilirsiniz.
Sayfalarınız neden dizinden hariç tutuluyor?
Hariç tutulma her zaman sitenizde teknik bir arıza olduğu anlamına gelmez. Google, çalışmanıza öncelik vermenize yardımcı olmak için sayfaları birkaç gruba ayırır. Bazı hariç tutmalar, robots.txt tarafından engellenen sayfalar veya noindex yönergesi içerenler gibi kasıtlıdır. Diğerleri ise, bir sayfanın boş veya kırık olmasına rağmen 200 durum kodu döndürdüğü sunucu hataları veya yumuşak 404’ler gibi bir soruna işaret eder.
Sayfa Dizini raporunu analiz ederken, çok sayıda hariç tutulmuş sayfa görmek yaygındır. Bu mutlaka zayıf site kalitesinin bir sinyali değildir. Genellikle bu sayfalar; arama sonuçları, yazıcı dostu sürümler veya dizinde olması gerekmeyen arşivlenmiş içerik gibi düşük değerli URL’lerdir. Bunları filtreleyerek, işletme hedefleriniz için gerçekten önemli olan sayfalara odaklanabilirsiniz.
Örneğin, bir e-ticaret sitesinde filtre kombinasyonlarının neden olduğu binlerce URL bulunabilir. Bunlar yönetilmezse, raporu kalabalıklaştırır ve gerçek sorunları fark etmeyi zorlaştırır. Gerekli bir sayfa ile gereksiz bir URL arasındaki farkı anlamak, kapsam raporunuzu temizlemenin ilk adımındadır.
Yaygın dizin durumu kategorileri
- Tarandı – şu anda dizine eklenmedi: Google sayfayı buldu ancak henüz dizine eklememeye karar verdi.
- Keşfedildi – şu anda dizine eklenmedi: Google URL’yi biliyor ancak genellikle tarama bütçesi kısıtlamaları nedeniyle taramadı.
- Yumuşak 404 (Soft 404): Sunucu, 404 hatası olması gereken bir sayfa için OK durumu döndürüyor.
- Noindex etiketiyle hariç tutuldu: Arama motorlarına bu sayfaları dizine eklememelerini açıkça söylediniz.
Hata ayıklamak için URL Denetim aracını nasıl kullanırsınız?
URL Denetim aracı, belirli sayfalar için ana teşhis varlığınızdır. Bir URL girerek sayfanın Google dizinindeki tam durumunu görürsünüz. CSS veya JavaScript dosyalarının robots.txt tarafından engellenip engellenmediğini ve düzgün bir şekilde oluşturulmasını engelleyip engellemediğini doğrulamaya yardımcı olan Google’ın sayfayı gerçek zamanlı olarak nasıl oluşturduğunu görmek için canlı test isteyebilirsiniz.
Bir sayfa dizine eklenmediğinde, araç belirli nedeni sağlar. Sayfanın robots.txt tarafından engellenip engellenmediğini, noindex etiketine sahip olup olmadığını veya başka bir URL’nin kopyası olup olmadığını gösterir. Bu bilgi sorun giderme için hayati önem taşır. Canlı test sayfanın doğru şekilde oluşturulduğunu gösteriyor ancak dizin durumu aksi yönde bir şey söylüyorsa, sayfa kalitesi veya kurallaştırma (canonicalization) ile ilgili daha derin bir sorununuz olabilir.
Geliştiriciler ve SEO’lar için bu araç, değişiklikleri doğrulamanın en iyi yoludur. Bir robots.txt sorununu düzelttikten sonra, Google’ın daha önce erişemediği kaynaklara artık erişip erişemediğini görmek için ‘Canlı URL’yi Test Et’ özelliğini kullanabilirsiniz. Sonraki planlanmış taramayı beklemeden anında geri bildirim sağlar.
Google’ın taraması gereken tüm kaynakların (görseller, CSS dosyaları vb.) veya sayfaların Google tarafından erişilebilir olduğundan emin olun.
Google Search Central
Alien Road, dizin kapsamı teşhisini nasıl uygular
Alien Road olarak, dizine eklemeyi site sağlığının bir yansıması olarak ele alıyoruz. Her projeye, Googlebot’un gerçekte ne talep ettiğini görmek için ham sunucu günlüklerini inceleyerek başlıyoruz. Birçok site, Sayfa Dizini raporu aracılığıyla belirlediğimiz parametre URL’lerinin neden olduğu dizin şişmesinden muzdariptir. Daha sonra tarama talebini yüksek değerli içeriğe odaklamak için kurallı etiketler (canonical tags) veya robots.txt yönergeleri uyguluyoruz.
Ekibimiz, müşteri kaynaklarının düşük kaliteli sayfalara harcanmamasını sağlamak için yapısallaştırılmış bir yaklaşım kullanır. Önce URL’leri türüne göre (statik, dinamik ve parametre ağırlıklı) kategorize ederiz. Bunları dizin raporuyla eşleştirerek, hangi kalıpların en çok sürtünmeye neden olduğunu tam olarak görebiliriz. Daha sonra kurallı etiket, noindex yönergesi veya sunucu tarafı yapılandırması olsun, doğru teknik düzeltme konusunda tavsiyelerde bulunuruz.
Örneğin, orta ölçekli bir yayıncı için yakın zamanda yaptığımız bir projede, binlerce arşivlenmiş etiket sayfasının tarandığını ancak dizine eklenmediğini gördük. Bu sayfalar değer sağlamadan tarama kaynaklarını tüketiyordu. Bu belirli etiket gruplarında hedefli bir noindex yönergesi uygulayarak, Googlebot’un dikkatini ana kategori ve makale sayfalarına yönlendirdik, bu da taze içeriğin daha hızlı dizine eklenmesine yol açtı.
- Artık parametre odaklı URL’leri belirlemek için sunucu günlüklerini denetleyin.
- Tüm sayfa varyasyonlarında kurallı etiket uygulamasını doğrulayın.
- Kritik kaynakların engellenmediğinden emin olmak için robots.txt dosyalarını kontrol edin.
- Öncelikli içeriği Google’a bildirmek için güncellenmiş site haritaları gönderin.
Tarama bütçesi ile dizine ekleme arasındaki ilişki nedir?
Tarama bütçesi genellikle dizine ekleme sorunlarının birincil nedeni olarak yanlış anlaşılır. Tarama hızı sınırının ve Google’ın siteniz için sahip olduğu talebin kesişimidir. Çoğu web sitesi, özellikle 10.000’den az URL’ye sahip olanlar için tarama bütçesi nadiren bir darboğazdır. Bu ölçekteki dizine ekleme sorunları genellikle teknik sınırlamalardan ziyade kalite sinyallerinden veya keşfedilebilirlik sorunlarından kaynaklanır.
Siteniz büyükse, örneğin bir milyondan fazla URL varsa, tarama bütçesi yönetimi gerekli hale gelir. Bu durumlarda teknik verimliliğe odaklanırız. Takvimlerde sonsuz döngüler, bozuk sayfalama veya yinelenen içerik oluşturan oturum kimlikleri ararız. Bunları kaldırarak Googlebot’un zamanını gerçekten dönüşüm sağlayan veya sıralama alan sayfalarda geçirmesini sağlarız.
Daha küçük siteler için endişe, sayfaların dizine eklenmeyi haklı çıkaracak kadar benzersiz içeriğe sahip olup olmadığı olmalıdır. Googlebot bir sayfa bulur ve onu dahil etmeme kararı alırsa, sorun sayfanın sitedeki diğerlerine çok benzer olması olabilir. Bu durumda, daha fazla benzersiz metin eklemek veya birden fazla zayıf sayfayı tek bir güçlü sayfada birleştirmek, dizine eklemeyi zorlamaya çalışmaktan daha etkili bir çözümdür.
Tarama/dizin/sunum boru hatlarını (pipeline) iyi anlamazsanız, sorunları ayıklamak veya sitenizdeki Arama davranışını tahmin etmek zor olacaktır.
Google Search Central
Yumuşak 404’ler ve sunucu hataları nasıl çözülür
Yumuşak 404 hataları, artık var olmayan bir sayfanın 404 veya 410 yerine 200 durum kodu döndürmesiyle gerçekleşir. Bu durum, arama motorlarının var olmayan içeriği taramaya ve dizine eklemeye devam etmesi nedeniyle kafasını karıştırır. Sunucunuzun eksik sayfalar için doğru HTTP durum kodunu döndürdüğünden emin olmalısınız. İçerik taşındıysa, her zaman en alakalı yedeğe 301 yönlendirmesi kullanın.
5xx kodları gibi sunucu hataları, barındırıcınızın (host) isteklere yanıt vermekte sorun yaşadığını gösterir. Googlebot bunlarla defalarca karşılaşırsa, sayfalarınızı dizinden çıkarabilir. Bu hataların yüksek trafik dönemleri veya belirli site güncellemeleriyle korelasyon gösterip göstermediğini görmek için Search Console raporunun yanı sıra sunucu sağlığı günlüklerinizi izlemenizi öneririz.
Yumuşak 404’ü düzeltmek için şablon dosyalarınızı kontrol edin. Bazen ‘boş’ görünen bir sayfa, sayfa üstbilgisi ve altbilgisi hala mevcut olduğu için hala 200 kodu döndürür. Sitenizdeki bir arama sorgusu sonuç döndürmediğinde veya bir ürün sayfası artık yayında olmadığında CMS’nizi gerçek bir 404 yanıtı gönderecek şekilde yapılandırmalısınız.
Bu hafta nereden başlamalı
Search Console’a giriş yaparak ve Sayfa Dizini raporunu açarak başlayın. Verileri ‘Hariç tutuldu’ya göre filtreleyin ve kalıpları arayın. Listede görünen belirli dizinler veya parametre türleri var mı? Hariç tutulan en iyi beş URL modelini belirleyin ve bunların dizine eklenmesi mi yoksa engellenmesi mi gerektiğini kontrol edin. Bu grupları ele almak genellikle tek bir güncellemede kapsam hatalarının çoğunu çözer.
Örüntüleri belirledikten sonra, İnceleme aracını (Inspection tool) kullanarak temsilî birkaç URL’yi test edin. Bu, neden dizine eklenmediklerine dair hipotezinizi doğrulayacaktır. Dizine eklenmeleri gerektiğine karar verirseniz, içeriklerini iyileştirin veya site haritanızdan doğru şekilde bağlantı verildiklerinden emin olun. Gerçekten düşük değerliyseler, raporu temizlemek ve tarama bütçenizi daha yüksek kaliteli sayfalar için korumak üzere uygun engelleme yönergesini uygulayın.