Konsolun robots.txt analiz aracı, birçoğu Yandex uzantısı olan hata ve uyarılar bildirir; bunlar, başka hiçbir yerde sorun yaratmayıp yalnızca Yandex’te dosyanın bozulmasına neden olabilecek kurallardır. Bu ayrım, referansın neden önemli olduğunun sebebidir: Google’ın ayrıştırıcısında doğrulanan bir dosya, burada reddedilebilir.
Hatalar ve Yandex’e özgü olanlar
- Kural / veya * ile başlamıyor (Yandex uzantısı) — bir kural yalnızca bu karakterlerle başlayabilir.
- Birden fazla
User-agent: *kuralı — bu türden yalnızca bir bloğa izin verilir. - Dosya boyutu sınırı aşıldı (Yandex) — dosya 2.048 kuralı aşıyor. Büyük kataloglarda oluşturulan robots.txt dosyaları bu sınıra takılır.
- Kuraldan önce User-agent yönergesi yok — kurallar bir
User-agentsatırını takip etmelidir. Yandex bunun muhtemel nedenini ekler:User-agent‘tan sonra gelen boş bir satır bloğu sonlandırır. Dosya doğru görünse de altındaki kurallar kimse için geçerli olmaz. - Kural çok uzun (Yandex) — 1.024 karakterin üzerinde.
- Geçersiz Sitemap URL’si (Yandex) — site haritası, protokol ile birlikte tam olarak verilmelidir. Göreli yol kullanımı yaygın ve sessiz bir hatadır.
- Geçersiz Clean-param formatı (Yandex) —
&ile ayrılmış bir veya daha fazla parametre, ardından bir boşluk ve yol ön eki.
Uyarılar
Geçersiz karakter (* ve $ dışındaki özel karakterler); bilinmeyen yönerge (Yandex kurallarında yer almayan — genellikle başka bir arama motoru için geçerli bir yönergedir, bu yüzden hata yerine uyarı olarak görünür); yorumlanamayan bir satırdaki söz dizimi hatası ve destek talebi gerektiren bilinmeyen hatalar.
URL doğrulama hataları
Belirli bir URL’yi dosyaya karşı test ederken: URL’deki bir söz dizimi hatası veya “bu URL alan adınıza ait değil” uyarısı — bu genellikle birincil adres yerine sitenin alternatif bir adresini yapıştırdığınız anlamına gelir. Yandex’in aynaları (mirror) ele alma biçimi göz önüne alındığında, bu hatayı yapmak kolaydır ve kafa karıştırıcı olabilir.
Analiz aracı nasıl doğru kullanılır?
Sadece “hata yok” uyarısında durmayın. Taranmasını istediğiniz ve engellenmesi gerektiğini düşündüğünüz URL’leri girin ve her biri için sonucu doğrulayın. Söz dizimi mükemmel olan bir dosya, yanlış dizini engelliyor olsa bile hiçbir hata bildirmez.
Biz bunu nasıl uyguluyoruz
The two findings we hit most often are the empty line after User-agent, which silently detaches every rule beneath it, and a relative sitemap path that Yandex simply ignores. Neither shows up as a visible problem — the file is served, the syntax looks fine, and the rules do nothing. We always test specific URLs rather than trusting a clean parse, and we test them against the primary address, because the alternate one returns a confusing domain error.
İlgili hizmetler