Der Roboter plant seine Besuche selbst und passt die Last automatisch an. Die Anfragen können sprunghaft ansteigen, wenn er einen neuen Abschnitt, eine strukturelle Änderung oder eine Charge neuer URLs entdeckt. Yandxs Empfehlung lautet: Diagnose vor der Drosselung.
Die Diagnose
- Vergleichen Sie geladene Seiten mit Seiten in der Suche auf der Seite „Meine Websites“. Eine große Lücke bedeutet, dass der Roboter viele ähnliche oder doppelte Seiten findet, die nicht indexiert werden sollten.
- Öffnen Sie die Crawl-Statistiken oder die Server-Protokolle und schauen Sie nach, was tatsächlich abgerufen wurde. Achten Sie auf URLs mit GET-Parametern — Filterkombinationen wie
?price=1,000&max_price=1,000,000, oder interne Such-URLs wie?search=…. Yandex weist offen auf die Verschwendung hin: Der Roboter crawlt diese unterschiedlichen URLs, und ihr identischer Inhalt kann ohnehin nicht an der Suche teilnehmen.
Die zwei Abhilfemaßnahmen, der Reihenfolge nach
Clean-param— leitet den Roboter zur kanonischen URL unter den Duplikaten weiter, überträgt angesammelte Metriken auf diese und lässt die Last schrittweise sinken.Disallow— die schnelle Option: der Roboter greift innerhalb von 24 Stunden nach der Änderung der Datei nicht mehr auf die angegebenen Seiten zu. Verwenden Sie dies, wenn die Last ein akutes Problem darstellt.
Wenn die Last nachweislich nicht von zusätzlichen Seiten stammt
Zwei Optionen: Konfigurieren Sie den Server so, dass er 429 Too Many Requestsantwortet, was Yandex signalisiert, dass der Server zu kämpfen hat, und die Anfragen daraufhin reduziert; oder stellen Sie die Crawl-Rate manuell in der Konsole ein. 429 Der Weg ist vorzuziehen, da er dynamisch ist – er greift, während der Server unter Druck steht, und hebt sich auf, wenn dies nicht der Fall ist.
Subdomains
Yandex behandelt jede Subdomain als separate Website und crawlt jede einzelne, so dass die Gesamtlast sprunghaft ansteigen kann, ohne dass sich eine einzelne Website ungewöhnlich verhält. Wenn Server-Logs zeigen, dass die meisten Anfragen an Subdomains gehen, schlägt Yandex etwas Radikaleres vor als Drosselung: Überlegen Sie neu, ob die Subdomains überhaupt benötigt werden und ob regionale Abschnitte der Hauptseite den Besuchern nicht genauso gut dienen würden.
So setzen wir das um
The 24-hour figure for Disallow taking effect is the one to know during an incident — it is the fastest lever available. But we always look at the loaded-versus-in-search gap first, because the load is nearly always filter URLs, and blocking those returns both the capacity and the crawl budget. Configuring 429 is worth doing once on any site with a history of load problems: it is self-regulating in a way a fixed crawl rate is not.
Verwandte Leistungen