Robots.txt analizi

robots.txt analiz aracı üç işlev görür: dosyayı doğrular, belirli URL’leri dosyaya göre test eder ve bir değişiklik geçmişi tutar. Üçüncüsü, kimsenin kullanmadığı ancak olayları en hızlı çözen özelliktir.

Doğrulama

Doğrulanmış bir site için dosya otomatik olarak görünür; aksi takdirde adresi girin. Yandex’e yönelik bölümler (User-agent: Yandex veya *) Yandex’in kendi kurallarına göre, diğer bölümler ise genel standarda göre kontrol edilir; bu yüzden genel bir denetleyiciden geçen bir dosya burada hata verebilir.

Sonuçlar uyarılar (aracın kendisinin düzeltebileceği sapmalar veya olası yazım hataları) ve hatalar (işlenemeyen bir satır, bölüm veya dosyanın tamamı) olarak gelir.

URL Testi — önemli olan kısım

URL’lerin izinli olup olmadığını kontrol et bölümü, tam veya göreceli adreslerden oluşan bir listeyi alır ve her birini izinli veya engelli olarak işaretler. Dosyanın ne yaptığını bilmenin tek güvenilir yolu budur, çünkü gerçek öncelik kurallarını uygular; bir Yandex bloğunun joker karakteri geçersiz kılması veya belirli bir robot bloğunun her ikisini de geçersiz kılması gibi.

Her iki yönde de test yapın: taranabilir olması gereken URL’ler ve olmaması gereken URL’ler. Yanlış dizini engelleyen sözdizimsel olarak mükemmel bir dosya, hiçbir hata bildirmez.

Değişiklik geçmişi

Altı aylık geçmiş, 100’e kadar kayıtlı sürüm ve indirilebilir seçenek. İndeksleme aniden değiştiğinde, ilk soru bu dosyanın değişip değişmediğidir; bu araç, kimsenin dağıtım günlüğüne erişmeye gerek kalmadan bunu bir tarihle yanıtlar. “robots.txt değiştirildi” bildirimiyle birleştiğinde, görünmez bir olay kategorisini izlenebilir bir kategoriye dönüştürür.

Çalışma pratiği

Araç üzerinde taslak oluşturun, doğrulayın, URL listesini test edin ve ardından siteye kopyalayın. Canlı dosyayı düzenleyip sonrasında kontrol etmek, sitelerin iki hafta boyunca engelli kalmasına neden olur; dosya günde birkaç kez getirildiğinden, bir hata hızla yayılır.