User-agent direktifi

Robot, User-agent: ile başlayan kayıtları arar ve Yandex alt dizisi (büyük/küçük harf duyarsız) ya da * ile eşleşme sağlar. Öncelik kuralları katıdır ve robots.txt hatalarının çoğuna neden olur.

Öncelik kuralları

• User-agent: Yandex mevcutsa, User-agent: * tamamen yok sayılır; birleştirilmez, görmezden gelinir. Global olduğunu varsaydığınız kurallar uygulanmaz.
• YandexBot gibi özel bir Yandex robotu için bir blok varsa, hem genel Yandex bloğu hem de * o robot için kullanılmaz.
• Ne Yandex ne de * bulunursa, robot sınırsız erişime sahiptir.

Yandex’in kendi örneği tuzağı somutlaştırır: YandexBot, Yandex ve * bloklarını içeren bir dosya, ana indeksleme robotuna sadece ilkini, diğer Yandex robotlarına sadece ikincisini uygular; üçüncüsünü ise hiçbirine uygulamaz.

Biçimlendirme

Her User-agent yönergesinden önce boş bir satır bulunmalıdır. # bir yorum satırı başlatır ve satırın sonuna kadar olan her şey yok sayılır; bu durum, User-agent sonrasındaki boş bir satırın takip eden kuralları ayırması kuralıyla birleştiğinde, sessizce bozulan dosyaların çoğunun nedenidir.

Kimsenin beklemediği istisna

Bazı Yandex robotları, User-agent: Yandex altındakiler de dahil olmak üzere robots.txt yönergelerini tamamen görmezden gelebilir. Bunları kısıtlamak için, tam kullanıcı aracısı adlarını kendi bloklarında belirtmeniz gerekir. Her şeyi engellediğini düşünen bir sitenin, daha önce hiç duymadığı bir Yandex aracısından tarama görmesinin nedeni budur.

Dosyanın pratik yapısı

Yandex için geçerli olması gereken tüm kuralları içeren bir Yandex bloğu ve * için ayrı, eksiksiz bir blok yazın. Aralarındaki kalıtıma güvenmeyin, çünkü böyle bir şey yoktur. Burada tekrara düşmek gereksiz değil, doğru olandır.

Doğrulama

Analiz aracında kullanıcı aracısı bazlı belirli URL’leri test edin. Araç, robotun uyguladığı öncelik kurallarının aynısını kullanır; bu, belirli bir adresi hangi bloğun yönettiğini teyit etmenin tek güvenilir yoludur.