Engellenen URL'lerin hata ayıklaması

19 Eylül 2006, Salı

Vanessa son zamanlarda çok fazla paylaşım yapıyor ve kendimi dışlanmış hissetmeye başladım. Bu yüzden işte size küçük bir tavsiyem: Birkaç web yöneticisinin “robots.txt tarafından engellendi” hatalarıyla kafasının karıştığını fark ettim ve robots.txt sorunlarını giderirken izlediğim adımları paylaşmak istedim:

Engellenen bir URL’de hata ayıklamak için kullanışlı bir kontrol listesi

Web siteniz için tarama hatalarına baktığınızı ve robots.txt tarafından engellenen, ancak engellemeyi amaçlamadığınız bir URL fark ettiğinizi varsayalım:

robots.txt analiz aracını kontrol edin

Yapmanız gereken ilk şey, ilgili site için robots.txt analiz aracına gitmektir. Doğru protokol ve alt alan adına dikkat ederek, söz konusu URL için doğru siteye baktığınızdan emin olun. (Alt alan adları ve protokollerin kendi robots.txt dosyaları olabilir; bu nedenle https://www.example.com/robots.txt dosyası, https://example.com/robots.txt veya https://amanda.example.com/robots.txt dosyasından farklı olabilir.) Engellenen URL’yi “Test URLs against this robots.txt file” (URL’leri bu robots.txt dosyasına göre test et) kutusuna yapıştırın. Araç engellendiğini bildiriyorsa sorununuzu buldunuz demektir. Eğer araç izin verildiğini bildiriyorsa, daha derinlemesine incelememiz gerekir.

robots.txt analiz aracının üst kısmındaki HTTP durum koduna bir göz atın. Eğer 200 (Başarılı) veya 404 (Bulunamadı) dışında bir rapor veriyorsak, robots.txt dosyanıza erişemiyor olabiliriz ve bu da tarama sürecimizi durdurur. (robots.txt dosyanızı en son ne zaman indirdiğimizi bu aracın üst kısmında görebileceğinizi unutmayın. Dosyanızda değişiklik yaparsanız, değişikliklerinizin son indirmemizden sonra yapılıp yapılmadığını görmek için bu tarih ve saate bakın.)

robots.txt dosyanızdaki değişiklikleri kontrol edin

Bunlar düzgün görünüyorsa, robots.txt dosyanızın son değiştirilme tarihini kontrol ederek hata oluştuktan sonra dosyanızın değişip değişmediğine bakmak isteyebilirsiniz. Eğer hata, tarama hataları sayfasında belirtilen tarihten sonra değiştirilmişse, birisi dosyayı yeni sürüm artık bu URL’yi engellemeyecek şekilde değiştirmiş olabilir.

URL yönlendirmelerini kontrol edin

Bu URL’nin engellenmediğinden eminseniz, URL’nin başka bir sayfaya yönlendirilip yönlendirilmediğini kontrol edin. Googlebot bir URL’yi getirdiğinde, URL’ye erişim izni olup olmadığını doğrulamak için robots.txt dosyasını kontrol eder. Eğer robots.txt dosyası URL’ye erişime izin veriyor ancak URL bir yönlendirme döndürüyorsa, Googlebot hedef URL’nin erişilebilir olup olmadığını görmek için robots.txt dosyasını tekrar kontrol eder. Googlebot herhangi bir noktada engellenmiş bir URL’ye yönlendirilirse, orijinal URL’nin içeriğini robots.txt tarafından engellendiği için alamadığını rapor eder.

Bazen bu davranışı tespit etmek kolaydır çünkü belirli bir URL her zaman bir başkasına yönlendirilir. Ancak bazen bunu çözmek zor olabilir. Örneğin:

• Sitenizde hiç robots.txt dosyası olmayabilir (bu nedenle tüm sayfalara erişime izin verilir), ancak sitedeki bir URL, robots.txt dosyası olan farklı bir siteye yönlendiriliyor olabilir. Bu durumda, (robots.txt dosyanız olmamasına rağmen) siteniz için robots.txt tarafından engellenen URL’ler görebilirsiniz.
• Siteniz belirli sayıda sayfa görüntülemesinden sonra kayıt isteyebilir. Kayıt sayfasını bir robots.txt dosyası ile engellemiş olabilirsiniz. Bu durumda, URL’nin kendisi yönlendirme yapmayabilir ancak Googlebot URL’ye erişirken kayıt istemini tetiklerse, engellenen kayıt sayfasına yönlendirilir ve orijinal URL tarama hataları sayfasında robots.txt tarafından engellenmiş olarak listelenir.

Yardım isteyin

Son olarak, sorunu hala tespit edemiyorsanız, yardım için forumumuzda paylaşım yapabilirsiniz. Mesajınıza engellenen URL’yi eklediğinizden emin olun. Bazen gözden kaçırdığınız detayları başkalarının fark etmesi daha kolay olabilir.

Hata ayıklamada iyi şanslar! Bu arada, robots.txt ile ilgisi olmasa da, web sayfalarınızın en üstünde noindex meta etiketleri olmadığından emin olun; bunlar da Google’ın bir web sitesini dizinimizde göstermemesine neden olur.