Crawl-delay 22 fevral 2018-ci ildən bəri Yandex tərəfindən nəzərə alınmır. Direktivi hələ də saxlayan istənilən sayt heç bir iş görməyən sətr daşıyır.
Onunla nə əvəz olundu
Yandex Webmaster-də İndeksləmə → Crawl rate altında yerləşən sürət tənzimləməsi . O, standart olaraq avtomatlaşdırılıb, serveri həddən artıq yükləmədən mümkün qədər çox səhifə yükləmək üçün hesablanıb və hər sayt üçün əllə təyin edilə bilər — həmçinin hər bir alt domen üçün ayrı-ayrılıqda.
Dəyişikliyin niyə irəliləyiş olması
Fayl direktivi statik və kor-koranədir: server boşda qalanda və ya çətinlik çəkəndə eyni gecikməni tətbiq edir və robotu hətta ehtiyat güc olanda da yavaşıdır. Konsol ayarı Yandex-in sayt haqqında bildikləri ilə müqayisədə qiymətləndirdiyi tövsiyədir və avtomatik rejim uyğunlaşır.
Ona heç əl atmamışdan əvvəl
Yandex-in tarama sürəti ilə bağlı təlimatı burada tətbiq olunur: robotu yavaşlatmazdan əvvəl onun əslində nə tələb etdiyini öyrənin. Əgər yük filtr kombinasiyalarından, sessiya URL-lərindən və daxili axtarış nəticələrindən gəlirsə — adətən olduğu kimi — düzgün vasitə Disallow və ya Clean-paramolub, bu, lazımsız sorğuları aradan qaldırır və tarama büdcəsini real səhifələrə qaytarır. Sürətin azaldılması tullantıları saxlayır və bununla birlikdə hər şeyi yavaşıdır.
Təmizlik işləri
Növbəti dəfə redaktə edərkən Crawl-delay -ni robots.txt -dən
silin. Onun Yandex-ə heç bir təsiri yoxdur, bəzi digər krolerlər hələ də ona hörmət edir və onu yerində saxlamaq heç bir nəzarətin olmadığı yerdə sürətə nəzarətin mövcud olduğunu ehtimal etməyə səbəb olur — məhz faylı yazan şəxsdən sonra da yaşayan fərziyyə növü budur.
Həqiqi limitin hələ də qaldığı yer
Bunu necə tətbiq edirik
We remove stale Crawl-delay lines when auditing, because their presence convinces teams that crawl rate is under control when it is not. The per-subdomain requirement is the detail that catches people: the load is usually on one subdomain, and the setting applied to the main domain has no effect there at all.
Əlaqəli xidmətlər