Crawl-delay wird von Yandex seit dem 22. Februar 2018 ignoriert. Jede Website, die diese Direktive noch enthält, hat eine Zeile im Code, die absolut nichts bewirkt.
Was sie ersetzt hat
Die Crawling-Frequenz-Einstellung in Yandex Webmaster unter Indexierung → Crawling-Frequenz. Sie ist standardmäßig automatisch, so berechnet, dass so viele Seiten wie möglich geladen werden, ohne den Server zu überlasten, und kann manuell pro Website festgelegt werden — sogar separat für jede Subdomain.
Warum die Änderung eine Verbesserung ist
Eine Datei-Direktive ist statisch und blind: Sie wendet dieselbe Verzögerung an, egal ob der Bot im Leerlauf ist oder kämpft, und sie verlangsamt den Roboter selbst dann, wenn noch Kapazitäten frei sind. Die Konsolen-Einstellung ist eine Empfehlung, die Yandex gegen das abwägt, was es über die Website weiß, und der Automatikmodus passt sich an.
Bevor Sie überhaupt danach greifen
Yandexs Leitfaden zur Crawling-Frequenz gilt hier: Finden Sie heraus, was der Roboter tatsächlich anfordert, bevor Sie ihn verlangsamen. Wenn die Last von Filterkombinationen, Sitzungs-URLs und internen Suchergebnissen stammt — wie es meistens der falschen Fall ist —, lautet das richtige Mittel Disallow oder Clean-param, wodurch die verschwendeten Anfragen entfernt und das Crawl-Budget an echte Seiten zurückgegeben wird. Das Reduzieren der Frequenz behält den Abfall bei und verlangsamt alles andere gleich mit.
Aufräumarbeiten
Entfernen Sie Crawl-delay aus robots.txt , wenn Sie diese das nächste Mal bearbeiten. Es hat keine Wirkung auf Yandex, einige andere Crawler respektieren es immer noch, und es dort zu belassen suggeriert, dass eine Frequenzsteuerung existiert, wo keine ist — was genau die Art von Annahme ist, die den Verfasser der Datei überlebt.
Wo ein echtes Limit nach wie vor existiert
Wenn der Roboter-Traffic ein echtes operatives Problem ist, ist die Konsolen-Einstellung das einzige Yandex-spezifische Steuerelement, und sie muss für die Hauptdomain und jede Subdomain separat konfiguriert werden. Eine auf der Hauptdomain festgelegte Frequenz bewirkt nichts für die Subdomain, die tatsächlich unter Last steht.
So setzen wir das um
We remove stale Crawl-delay lines when auditing, because their presence convinces teams that crawl rate is under control when it is not. The per-subdomain requirement is the detail that catches people: the load is usually on one subdomain, and the setting applied to the main domain has no effect there at all.
Verwandte Leistungen