Die Crawl-Rate ist die Anzahl der Anfragen pro Sekunde, die der Roboter an Ihre Website sendet. Sie ist standardmäßig automatisch eingestellt, und der Algorithmus von Yandex zielt darauf ab, so viele Seiten wie möglich zu laden, ohne den Server zu überlasten. Sie muss getrennt für die Hauptdomain und jede Subdomain.
konfiguriert werden.
Bevor Sie sie reduzieren, fordert Yandex zunächst eine Diagnose an, und diese Reihenfolge ist Absicht. Wenn der Roboter-Traffic dem Server schadet, finden Sie heraus, was
- der Roboter anfordert:
- Lesen Sie die Server-Logs. Öffnen Sie Indexierung → Crawl-Statistiken in der Alle Seiten
Ansicht und suchen Sie nach Service-Seiten und Duplikaten – typischerweise URLs mit GET-Parametern. Wenn der Roboter sein Budget für Filterkombinationen und Sitzungs-URLs aufbraucht, ist die korrekte Behebung Disallow inrobots.txt
, verifiziert mit dem robots.txt-Analyse-Tool – und keine niedrigere Crawl-Rate. Eine Reduzierung der Rate behandelt das Symptom und verlangsamt die Seiten, die Sie tatsächlich indexiert haben möchten. Dieser Unterschied macht den gesamten Inhalt der Seite aus.
Erhöhung Der Wert ist eineEmpfehlung
. Yandex sagt ganz klar, dass die tatsächliche Rate basierend auf dem, was es über die Site weiß, abweichen kann. Eine größere Zahl erkauft keine schnellere Indexierung auf einer Site, für die der Roboter keinen Grund hat, intensiver zu crawlen.
So stellen Sie sie ein Indexierung → Crawl-Rate, schalten SieManuell einstellen
ein, bewegen Sie den Schieberegler – er beginnt beim berechneten Optimum – und speichern Sie.
Wann manuell gerechtfertigt ist
So setzen wir das um
The first thing we check when a client asks us to slow the robot down is what it is actually fetching, because it is nearly always filter and parameter URLs rather than real pages. Blocking those returns both the server load and the crawl budget; lowering the rate returns only the load, and costs indexing speed on the pages that matter. We also make a point of looking for a manual rate someone set during a long-forgotten incident.
Verwandte Leistungen