Google, dosyayı genel beklentilerden farklı, belirli kurallara göre ayrıştırır. Bu kuralları yanlış uygulamak genellikle sessiz hatalara yol açar.
Öncelik
Yol uzunluğuna göre ölçülen en spesifik kural geçerlidir. Eğer Disallow: /folder/ ve Allow: /folder/page kurallarının ikisi de eşleşiyorsa, daha uzun olan Allow kuralı kazanır. Kurallar eşit derecede spesifik olduğunda, en az kısıtlayıcı olan uygulanır.
Joker Karakterler
*herhangi bir karakter dizisiyle eşleşir.$URL’nin sonunu sabitler.Disallow: /*.pdf$PDF’leri engeller ancak/file.pdf?download=1dosyasını engellemez.
User-agent grupları
Bir tarayıcı, kendisini adlandıran en spesifik gruba uyar ve diğerlerini yok sayar. User-agent: * altındaki bir kural, User-agent: Googlebot altındaki kurallarla birleştirilmez; eğer bir Googlebot grubu varsa, joker karakter grubu Googlebot için tamamen göz ardı edilir.
Sınırlar
Google 500 KiB’a kadar olan kısmı okur; bunun ötesindeki her şey yok sayılır. Yorumlar # ile başlar. 4xx yanıtı “kısıtlama yok” olarak değerlendirilir; kalıcı bir 5xx yanıtı ise “her şeyi engelle” olarak kabul edilir.
Alien Road öneriyor: her değişikliği yayına almadan önce Search Console robots.txt test aracında test edin. User-agent grubu kuralı sürekli hata yaptırır; Googlebot’a özel bir satır eklemek, sahip olduğunuz tüm joker karakter kurallarını sessizce devre dışı bırakır ve dosya insan gözüyle bakıldığında hala doğru görünür.
Biz bunu nasıl uyguluyoruz
The parsing rules here settle most robots.txt arguments. We keep this open during technical reviews because teams routinely assume a directive works in a way the specification does not support.
İlgili hizmetler