Optimieren Sie Ihr Crawl-Budget

Dieser Leitfaden beschreibt, wie Sie das Crawlen sehr großer und häufig aktualisierter Websites durch Google optimieren.

Wenn Ihre Website keine große Anzahl von Seiten hat, die sich schnell ändern, oder wenn Ihre Seiten anscheinend am selben Tag gecrawlt werden, an dem sie veröffentlicht werden, müssen Sie diesen Leitfaden nicht lesen. Für die Google Suche reicht es aus,
Ihre Sitemap auf dem neuesten Stand zu halten und
den Bericht zur Seitenindexierung
regelmäßig zu überprüfen.

Für wen dieser Leitfaden gedacht ist

Obwohl die Empfehlungen in diesem Leitfaden allgemein bewährte Verfahren sind, handelt es sich um einen fortgeschrittenen Leitfaden, der hauptsächlich für die folgenden Arten von Websites gedacht ist:

• Große Websites (1 Million+ eindeutige Seiten) mit Inhalten, die sich mäßig häufig ändern (einmal pro Woche)
• Mittlere oder größere Websites (10.000+ eindeutige Seiten) mit sehr schnell wechselnden Inhalten (täglich)
• Websites, bei denen ein großer Teil ihrer gesamten URLs in der Search Console als
  Gecrawlt – zurzeit nicht indexiert

exakten Schwellenwerte.

Allgemeine Theorie des Crawlens
Das Web ist ein nahezu unendlicher Raum, der die Fähigkeit von Google übersteigt, jede öffentlich zugängliche URL zu erkunden. Infolgedessen gibt es Grenzen dafür, wie viel Zeit und Ressourcen Google für das Crawlen einer einzelnen Website aufwenden kann. Die Zuweisung dieser Ressourcen wird allgemein alsCrawl-Budget einer Website bezeichnet. In diesem Zusammenhang definiert die Crawling-Infrastruktur von Google eine Website als einen eindeutigen Hostnamen. Zum Beispiel werden https://www.example.com/
und https://code.example.com/ als separate Websites behandelt und haben separate Crawl-Budgets. Das Crawl-Budget einer Website wird durch zwei Hauptelemente bestimmt: Crawl-Kapazitätslimit
und.

und beurteilt werden, um ihre Eignung für den Index zu bestimmen.

Crawl-Kapazitätslimit Google möchte Ihre Website crawlen, ohne Ihre Server zu überlasten. Um dies zu verhindern, berechnen die Crawler von Google ein Crawl-Kapazitätslimit
(auch bekannt alshostload

). Dies begrenzt die Gesamtzeit, die Ihr Server damit verbringt, Verbindungen für Google offen zu halten, wobei sowohl die Anzahl der parallelen Verbindungen als auch deren Dauer berücksichtigt werden. Dies stellt sicher, dass Google alle Ihre wichtigen Inhalte abdecken kann, ohne Ihre Server zu überlasten.

Jede Website beginnt mit demselben standardmäßigen, konservativen Crawl-Kapazitätslimit. Wenn Bedarf besteht, mehr zu crawlen, und die Website gesund bleibt, passen die Systeme von Google dieses Limit im Laufe der Zeit automatisch an.

• Das Crawl-Kapazitätslimit kann basierend auf einigen Faktoren steigen und fallen: Crawl-Gesundheit:Wenn die Website konsistent antwortet und ihre Antwortzeiten (einschließlich Latenz und Zeit bis zum ersten Byte) stabil bleiben oder sich verbessern, steigt das Limit, was bedeutet, dass mehr Verbindungen zum Crawlen verwendet werden können. Wenn die Website langsamer wird (Latenz steigt oder Antwortzeiten werden länger) oder mit Serverfehlern ( 5xx HTTP Statuscodes) oder Ratenbegrenzungssignalen (wieHTTP 429
• ) antwortet, sinkt das Limit und Google crawlt weniger. Crawling-Limits von Google:

Obwohl die Ressourcen von Google umfangreich sind, sind sie endlich, und wir müssen die Ressourcenzuweisung im gesamten Web priorisieren.

Crawl-Bedarf

Jeder Crawler hat seinen eigenen “Bedarf”, wenn es darum geht, das Web zu crawlen, bestimmt durch Faktoren, die für diesen Crawler einzigartig sind. Zum Beispiel hat AdsBot im Allgemeinen einen höheren Bedarf, wenn eine Website dynamische Anzeigenziele ausführt, und Google Shopping hat einen höheren Bedarf für Produkte, die Sie in Ihren Merchant-Feeds haben. FürGooglebot

• variiert der Bedarf basierend auf der Größe, der Aktualisierungshäufigkeit, der Seitenqualität und der Relevanz einer Website im Vergleich zu anderen Websites. Die Hauptfaktoren, die Sie beeinflussen können, sind: Wahrgenommener Bestand:
• Ohne Anleitung von Ihnen versucht Google, alle oder die meisten URLs zu crawlen, die es auf Ihrer Website kennt. Wenn viele dieser URLs Duplikate sind oder Sie aus einem anderen Grund nicht möchten, dass sie gecrawlt werden (entfernt, unwichtig usw.), verschwendet dies viel Crawling-Zeit von Google auf Ihrer Website. Dies ist der Faktor, den Sie am positivsten beeinflussen können. Beliebtheit:
• URLs, die im Internet beliebter sind, werden tendenziell häufiger gecrawlt, um sie in unseren Systemen aktueller zu halten. Veraltung:

Unsere Systeme möchten Dokumente häufig genug neu crawlen, um Änderungen zu erfassen.

von allen Crawlern gemeinsam genutzt. Dies bedeutet, dass ein hoher Bedarf eines Crawlers die für andere verfügbare Kapazität verringern kann.

Zusammenfassung

Wenn man Crawl-Kapazität und Crawl-Bedarf zusammennimmt, definiert Google das Crawl-Budget einer Website als die Menge an URLs, die Google crawlen kann und möchte. Selbst wenn das Crawl-Kapazitätslimit nicht erreicht wird, wird Google Ihre Website weniger crawlen, wenn der Crawl-Bedarf gering ist.

Bewährte Verfahren

• Um Ihre Crawling-Effizienz zu maximieren, befolgen Sie diese bewährten Verfahren: Verwalten Sie Ihren URL-Bestand:
  • Verwenden Sie die entsprechenden Tools, um Google mitzuteilen, welche Seiten gecrawlt werden sollen und welche nicht. Wenn Google zu viel Zeit damit verbringt, URLs zu crawlen, die es nicht sollte, erkunden die Crawler von Google möglicherweise den Rest Ihrer Website nicht oder erhöhen Ihr Crawl-Budget nicht..
    Konsolidieren Sie doppelte Inhalte
  • Eliminieren Sie doppelte Inhalte, um das Crawlen auf eindeutige Inhalte statt auf eindeutige URLs zu konzentrieren.Blockieren Sie das Crawlen von URLs mit robots.txt
    . Einige Seiten könnten für Benutzer wichtig sein, aber Sie möchten möglicherweise nicht, dass sie auf Google-Oberflächen erscheinen oder von Google-Systemen neu verarbeitet werden. Beispiele sind Infinite-Scrolling-Seiten, die Informationen auf verlinkten Seiten duplizieren, oder unterschiedlich sortierte Versionen derselben Seite. Wenn Sie sie nicht wie im ersten Punkt beschrieben konsolidieren können, blockieren Sie diese unwichtigen Seiten mitrobots.txt
  • Geben Sie einen 404 404 410 oder
    410 404 Statuscode für dauerhaft entfernte Seiten zurück.
  • Google vergisst keine URL, die es kennt, aber ein 410 Statuscode ist ein starkes Signal, diese URL nicht erneut zu crawlen. Blockierte URLs bleiben jedoch viel länger Teil Ihrer Crawl-Warteschlange und werden erneut gecrawlt, wenn die Blockierung aufgehoben wird..
    Eliminieren Sie soft 404
    Fehler
    soft 404 Seiten werden weiterhin gecrawlt und verschwenden Ihr Budget. Überprüfen Sie den Bericht zur Seitenindexierung
  • auf soft 404 Fehler. Halten Sie Ihre Sitemaps auf dem neuesten Stand.
  • Google liest Ihre Sitemap regelmäßig. Stellen Sie also sicher, dass Sie alle Inhalte einbeziehen, die Google crawlen soll. Wenn Ihre Website aktualisierte Inhalte enthält, empfehlen wir die Einbeziehung des<lastmod>
• -Tags..
  Vermeiden Sie lange Weiterleitungsketten
  • , die sich negativ auf das Crawling auswirken. Sorgen Sie für eine effiziente Ladezeit Ihrer Seiten
  • Wenn Google Ihre Seiten schneller laden und rendern kann, können wir möglicherweise mehr Inhalte von Ihrer Website lesen. Verbessern Sie die Ladegeschwindigkeit:
    Optimieren Sie Ihre Serverantwortzeiten und Ressourcen, damit Seiten schneller geladen werden. Verwenden Sie HTTP-Caching:Unterstützen Sie 304 304 (Nicht modifiziert)
• HTTP-Statuscodes.
  . Wenn sich eine Seite seit dem letzten Crawling durch Google nicht geändert hat, weist die Rückgabe eines

304

Codes Google an, die zwischengespeicherte Version wiederzuverwenden, was Bandbreite und Ressourcen Ihres Servers spart.

• Debuggen Sie Probleme mit dem Crawl-BudgetÜberprüfen Sie, ob Ihre Website während des Crawlings Verfügbarkeitsprobleme hatte, und suchen Sie nach Möglichkeiten, Ihr Crawling effizienter zu gestalten.
  Wie erhalte ich mehr Crawl-Budget?
  Es gibt zwei Möglichkeiten, das Crawl-Budget zu erhöhen:
• Fügen Sie mehr Serverressourcen hinzu: Wenn Ihre Website aufgrund Ihrer Serverkapazität nicht gecrawlt werden kann (z. B. erhalten Sie