Google-Crawling-Rate reduzieren

Die Crawling-Infrastruktur von Google verfügt über ausgefeilte Algorithmen, um die optimale Crawling-Rate für eine Website zu bestimmen. Unser Ziel ist es, bei jedem Besuch so viele Seiten Ihrer Website wie möglich zu crawlen, ohne Ihren Server zu überlasten. In einigen Fällen kann das Crawling Ihrer Website durch Google eine kritische Last für Ihre Infrastruktur verursachen oder während eines Ausfalls unerwünschte Kosten verursachen. Um dies zu lindern, können Sie entscheiden, die Anzahl der von Google-Crawlern gestellten Anfragen zu reduzieren.

Die Ursache für den starken Anstieg des Crawlings verstehen

Ein starker Anstieg des Crawlings kann durch Ineffizienzen in der Struktur Ihrer Website oder andere Probleme mit Ihrer Website verursacht werden. Basierend auf den Berichten, die wir in der Vergangenheit erhalten haben, sind die häufigsten Ursachen:

• Ineffiziente Konfiguration von URLs auf der Website, die typischerweise durch eine spezifische Funktionalität der Website verursacht wird:
  • Facettennavigation oder andere Sortier- und Filterfunktionen der Website
  • Ein Kalender mit vielen URLs für bestimmte Daten
• Ein Ziel für dynamische Suchanzeigen

Wir empfehlen Ihnen dringend, sich mit Ihrem Hosting-Anbieter in Verbindung zu setzen und die aktuellen Zugriffsprotokolle Ihres Servers zu prüfen, um die Quelle des Datenverkehrs zu verstehen und festzustellen, ob sie zu den oben genannten häufigen Ursachen für den starken Anstieg des Crawlings passt. Überprüfen Sie dann unsere Leitfäden zu
Verwaltung des Crawlings von URLs der Facettennavigation
und
Optimierung der Crawling-Effizienz.

Crawler-Traffic dringend reduzieren (für Notfälle)

Wenn Sie die Crawling-Rate dringend für einen kurzen Zeitraum (z. B. ein paar Stunden oder 1-2 Tage) reduzieren müssen, kehren Sie zurück 500, 503, oder 429 HTTP-Antwortstatuscode anstelle von 200 zu den Crawling-Anfragen. Die Crawling-Infrastruktur von Google reduziert die Crawling-Rate Ihrer Website, wenn sie auf eine signifikante Anzahl von URLs mit 500, 503, oder 429 HTTP-Antwortstatuscodes stößt (z. B. wenn Sie
Ihre Website deaktiviert haben). Die reduzierte Crawling-Rate betrifft den gesamten Hostnamen Ihrer Website (z. B.
subdomain.example.com), sowohl das Crawling der URLs, die Fehler zurückgeben, als auch der URLs, die Inhalte zurückgeben. Sobald die Anzahl dieser Fehler reduziert ist, beginnt die Crawling-Rate automatisch wieder zu steigen.

Außergewöhnliche Anfragen zur Reduzierung der Crawling-Rate

Wenn es für Ihre Infrastruktur nicht möglich ist, den Google-Crawlern Fehler zu liefern,
reichen Sie eine spezielle Anfrage ein
, um ein Problem mit einer ungewöhnlich hohen Crawling-Rate zu melden, und geben Sie in Ihrer Anfrage die optimale Rate für Ihre Website an. Sie können keine Erhöhung der Crawling-Rate anfordern, und es kann mehrere Tage dauern, bis die Anfrage bewertet und erfüllt wird.