Robotlar, user agent ayarlarını değiştirerek Yandex olduklarını iddia edebilirler. Doğrulama işlemi ters DNS sorgusu (reverse DNS lookup) ile yapılır ve bu prosedürün log analizinde otomatize edilmesi gerekir.
Dört adım
- Sunucu loglarından IP adresini alın.
- IP adresini bir ana makine adına (host name) ters sorgulayın.
- Ana makinenin
yandex.ru,yandex.netveyayandex.comile bittiğini doğrulayın. Başka bir uzantı, bunun Yandex olmadığını gösterir. - Ana makine adını ileri sorgulayın (forward-lookup) ve aynı IP adresine çözümlendiğini teyit edin. Uyuşmazlık olması, ana makine adının sahte olduğu anlamına gelir.
Dördüncü adım insanların atladığı kısımdır; bu adım olmadan yapılan kontrol hiçbir şeyi kanıtlamaz. Konsolun IP adresi kontrol aracı, tek bir adres için aynı işi yapar.
IP aralıkları neden yayınlanmıyor?
Robotlar, adresleri sıkça değişen AS13238, AS208722 ve AS212066 otonom sistemlerini kullanır, bu nedenle herhangi bir liste paylaşılmaz. Bu yüzden IP üzerinden izin listesi (allowlisting) oluşturmak sürdürülebilir bir strateji değildir; desteklenen yöntem ters DNS sorgusudur.
Robot filosu hakkındaki önemli detay
Birçok Yandex robotu, dokümanları indeksleme dışındaki amaçlarla çeker ve bunların bir kısmı User-agent: * için yazılmış robots.txt kurallarını yok sayar. Bazıları ise dosyayı tamamen görmezden gelir; örneğin YaDirectFetcher ve çeşitli YandexMetrika sürümleri. Bunları kısıtlamak için isimlerini açıkça belirtin:
User-agent: YandexCalendar
Disallow: /
User-agent: YandexMobileBot
Disallow: /private/*.txt$Yaygın bir kafa karışıklığını çözen kural
Eğer bu robotlardan biri, ana indeksleme robotunun erişemediği bir dokümanı indirirse, o doküman asla indekslenmez ve aramalarda görünmez. Loglardaki Yandex agent trafiği, bir sayfanın indekslendiğinin kanıtı değildir; filo çok geniştir ve büyük bir kısmı indeksleyici değildir.
Logları okumak
User-agent dizeleri, zamanla değişen bir tarayıcı sürümü içerir; YandexBot/3.0, yanında bir Chrome sürümü ile görünür. Eşleştirmeyi tam dize üzerinden değil, robot ismi üzerinden yapın; aksi takdirde bir güncelleme sonrası log filtreleriniz sessizce bozulur.
Biz bunu nasıl uyguluyoruz
The forward-confirmation step is the one that matters: half the “Yandex is hammering our server” reports we have looked at were other crawlers wearing the name. It is also why we match log filters on the robot name rather than the full user agent — the Chrome version inside it changes, and rules written against the whole string quietly stop matching.
İlgili hizmetler