Robots.txt analizi

Robots.txt analizatoru üç işi yerinə yetirir: faylı təsdiqləyir, spesifik URL-ləri ona qarşı yoxlayır və dəyişiklik tarixçəsini saxlayır. Üçüncüsü heç kimin istifadə etmədiyi, lakin insidentləri ən sürətli həll edəndir.

Doğrulama

Təsdiqlənmiş sayt üçün fayl avtomatik görünür; əks halda ünvanı daxil edin. Yandex-ə ünvanlanan bölmələr (User-agent: Yandex və ya *) Yandex-in öz qaydalarına, digər bölmələr isə ümumi standarta qarşı yoxlanılır – məhz buna görə də ümumi yoxlayıcıdan keçən fayl burada hələ də səhv verə bilər.

Nəticələr xəbərdarlıqlar (alətin özünün düzəldə biləcəyi kənaraçıxmalar və ya mümküntərtib səhvləri) və səhvlər (emal edilə bilməyən sətir, bölmə və ya bütün fayl) şəklində gəlir.

URL-lərin yoxlanılması — vacib olan hissə

” URL-lərin icazəli olub olmadığını yoxlayın ” bölməsi tam və ya nisbi ünvanların siyahısını götürür və hər birini icazə verilmiş və ya bloklanmış kimi işarələyir. Faylın nə etdiyini bilməyin yeganə etibarlı yolu budur, çünki o, real prioritet qaydalarını tətbiq edir – Yandex bloklaması ümumi simvolu (wildcard), xüsusi bir robotun bloklaması isə hər ikisini üstələyir.

Hər iki istiqaməti yoxlayın: skan edilməli olan URL-lər və edilməməli olanlar. Səhv departamenti bloklayan sintaksis baxımından mükəmməl fayl heç bir səhv bildirmir.

Dəyişiklik tarixçəsi

Altı aylıq tarixçə, 100-ə qədər saxlanılan versiya, yüklənə bilən. İndeksləmə qəfil dəyişdikdə, ilk sual bu faylın dəyişib-dəyişməməsidir və bu, heç kimin yerləşdirmə (deployment) jurnalına giriş tələb etmədən bunu tarix ilə cavablandırır. “Robots.txt dəyişdirildi” bildirişi ilə birlikdə o, görünməyən insident kateqoriyasını izlənilə bilənə çevirir.

İş təcrübəsi

Alətdə layihə hazırlayın, yoxlayın, URL siyahısını test edin, sonra sayta kopyalayın. Canlı faylı redaktə etmək və sonradan yoxlamaq saytların iki həftə blokda qalmasına səbəb olur – fayl gündə bir neçə dəfə əldə edilir, ona görə də səhv sürətlə yayılır.