Robotlar user agent təyin etməklə Yandex olduqlarını iddia edə bilərlər. Təsdiqləmə bu üsulla həyata keçirilir: tərsinə DNS sorğusu, və bu prosedurun loq təhlilində avtomatlaşdırılması faydalıdır.
Dörd addım
- Server loqlarından IP ünvanını əldə edin.
- IP-ni host adına uyğun olaraq tərsinə yoxlayın (reverse-lookup).
- Hostun bununla bitdiyini təsdiqləyin:
yandex.ru,yandex.netvə yayandex.com. Hər hansı digər sonluq onun Yandex olmadığını bildirir. - Host adının düzünə sorğusunu yoxlayın (forward-lookup) və onun yenidən eyni IP-yə həll olunduğunu təsdiqləyin. Uyğunsuzluq host adının saxta olduğunu göstərir.
Dördüncü addım insanların ötürdüyü addımdır və o olmadan yoxlama heç nəyi sübut etmir. Konsolun IP ünvanı yoxlama aləti tək bir ünvan üçün eyni işi görür.
IP diapazonlarının nə üçün dərc olunmadığı
Robotlar avtonom sistemlərdən istifadə edirlər AS13238, AS208722 və AS212066 tez-tez dəyişən ünvanlarla, ona görə də heç bir siyahı açıqlanmır. Buna görə də IP üzrə icazə siyahısı (allowlisting) səmərəli strategiya deyil; dəstəklənən metod tərsinə DNS-dir.
Robot parkı haqqında vacib detal
Bir çox Yandex robotu sənədləri indeksləşdirmədən başqa məqsədlər üçün əldə edir və onların bir qismi ignor edir robots.txt üçün yazılmış qaydaları User-agent: *. Bəziləri fayla ümumiyyətlə məhəl qoymur — YaDirectFetcher, bir neçə YandexMetrika versiyaları. Bunları məhdudlaşdırmaq üçün onlardan açıq şəkildə ad çəkin:
User-agent: YandexCalendar
Disallow: /
User-agent: YandexMobileBot
Disallow: /private/*.txt$Ümumi qarışıqlığı həll edən qayda
Əgər bu robotlardan biri sənədi endirərsə, əsas indeksləmə robotu daxil ola bilmir, həmin sənəd heç vaxt indekslənmir və axtarışda görünmür. Loqlarda Yandex agentindən gələn trafik səhifənin indeksləndiyinin sübutu deyil — park böyükdür və onun çox hissəsi indeksləyici deyil.
Loqların oxunması
User-agent sətrlərinə zamanla dəyişən brauzer versiyası daxildir — YandexBot/3.0 Chrome versiyası əlavə olunmuş şəkildə görünür. Tam sətrə deyil, hər zaman robot adına görə uyğunlaşdırın, əks halda yeniləmədən sonra loq filtrləri səssizcə sıradan çıxacaq.
Bunu necə tətbiq edirik
The forward-confirmation step is the one that matters: half the “Yandex is hammering our server” reports we have looked at were other crawlers wearing the name. It is also why we match log filters on the robot name rather than the full user agent — the Chrome version inside it changes, and rules written against the whole string quietly stop matching.
Əlaqəli xidmətlər