Montag, 16. Januar 2017
In letzter Zeit haben wir verschiedene Definitionen für das „Crawl-Budget“ gehört, allerdings gibt es keinen einzigen Begriff, der alles beschreibt, wofür das „Crawl-Budget“ extern steht. Mit diesem Beitrag möchten wir klarstellen, was wir tatsächlich haben und was das für den Googlebot bedeutet.
Als Erstes möchten wir betonen, dass das Crawl-Budget, wie es unten beschrieben wird, nichts ist, worüber sich die meisten Publisher Sorgen machen müssen. Wenn neue Seiten tendenziell am selben Tag gecrawlt werden, an dem sie veröffentlicht werden, müssen sich Webmaster nicht auf das Crawl-Budget konzentrieren. Ebenso wird eine Website mit weniger als ein paar tausend URLs meistens effizient gecrawlt.
Die Priorisierung der zu crawlenden Inhalte, des Zeitpunkts und der Ressourcen, die der Hosting-Server der Website für das Crawling bereitstellen kann, ist wichtiger für größere Websites oder solche, die beispielsweise Seiten automatisch basierend auf URL-Parametern generieren.
Crawl-Rate-Limit
Googlebot ist darauf ausgelegt, sich im Web rücksichtsvoll zu verhalten. Das Crawling hat für ihn oberste Priorität, wobei gleichzeitig sichergestellt wird, dass die Nutzererfahrung der Website-Besucher nicht beeinträchtigt wird. Wir nennen dies das „Crawl-Rate-Limit“, welches die maximale Abrufrate für eine bestimmte Website begrenzt.
Einfach ausgedrückt stellt dies die Anzahl der gleichzeitigen parallelen Verbindungen dar, die Googlebot zum Crawlen der Website verwenden kann, sowie die Wartezeit zwischen den Abrufen. Die Crawl-Rate kann basierend auf einigen Faktoren steigen und fallen:
- Crawl-Gesundheit: Wenn die Website eine Zeit lang sehr schnell reagiert, erhöht sich das Limit, was bedeutet, dass mehr Verbindungen zum Crawlen genutzt werden können. Wenn die Website langsamer wird oder Serverfehler ausgibt, sinkt das Limit und Googlebot crawlt weniger.
- In der Search Console
eingestelltes Limit: Website-Eigentümer können das Crawlen ihrer Website durch den Googlebot reduzieren. Beachten Sie, dass das Festlegen höherer Limits das Crawlen nicht automatisch erhöht.
Crawl-Nachfrage
Selbst wenn das Crawl-Rate-Limit nicht erreicht wird und keine Nachfrage nach der Indexierung besteht, ist die Aktivität des Googlebots gering. Die beiden Faktoren, die eine wichtige Rolle bei der Bestimmung der Crawl-Nachfrage spielen, sind:
- Popularität: URLs, die im Internet beliebter sind, werden tendenziell häufiger gecrawlt, um sie in unserem Index aktueller zu halten.
- Überalterung: Unsere Systeme versuchen zu verhindern, dass URLs im Index veralten.
Zusätzlich können websiteweite Ereignisse wie Website-Umzüge einen Anstieg der Crawl-Nachfrage auslösen, um die Inhalte unter den neuen URLs neu zu indexieren.
Wenn man Crawl-Rate und Crawl-Nachfrage zusammennimmt, definieren wir das Crawl-Budget als die Anzahl der URLs, die der Googlebot crawlen kann und möchte.
Faktoren, die das Crawl-Budget beeinflussen
Unserer Analyse zufolge kann eine große Anzahl von URLs mit geringem Mehrwert das Crawling und die Indexierung einer Website negativ beeinflussen. Wir haben festgestellt, dass URLs mit geringem Mehrwert in folgende Kategorien fallen, nach Relevanz geordnet:
- Facettierte Navigation und
Sitzungsbezeichner - Duplicate Content auf der Website
- Soft-Error-Seiten
- Gehackte Seiten
- Unendliche Räume und Proxies
- Qualitativ minderwertige Inhalte und Spam
Das Verschwenden von Serverressourcen für solche Seiten entzieht den Seiten, die tatsächlich einen Wert haben, Crawling-Aktivitäten, was zu einer erheblichen Verzögerung beim Entdecken großartiger Inhalte auf einer Website führen kann.
Die wichtigsten Fragen
Das Crawling ist der Einstiegspunkt für Websites in die Google-Suchergebnisse. Ein effizientes Crawling einer Website unterstützt die Indexierung in der Google Suche.
Beeinflusst die Website-Geschwindigkeit mein Crawl-Budget? Wie sieht es mit Fehlern aus?
Eine Beschleunigung der Website verbessert die Nutzererfahrung und erhöht gleichzeitig die Crawl-Rate. Für den Googlebot ist eine schnelle Website ein Zeichen für gesunde Server, sodass er über dieselbe Anzahl von Verbindungen mehr Inhalte abrufen kann. Umgekehrt signalisieren eine erhebliche Anzahl von 5xx-Fehlern oder Verbindungstimeouts das Gegenteil, und das Crawling verlangsamt sich.
Wir empfehlen, Aufmerksamkeit zu schenken auf den
Bericht zu Crawl-Fehlern in der Search Console
und die Anzahl der Serverfehler gering zu halten.
Ist das Crawling ein Ranking-Faktor?
Eine erhöhte Crawl-Rate führt nicht unbedingt zu besseren Positionen in den Suchergebnissen. Google verwendet Hunderte von Signalen, um die Ergebnisse zu ranken, und obwohl Crawling für das Erscheinen in den Ergebnissen notwendig ist, ist es kein Ranking-Signal.
Zählen alternative URLs und eingebettete Inhalte zum Crawl-Budget?
Im Allgemeinen zählt jede URL, die der Googlebot crawlt, zum Crawl-Budget einer Website. Alternative URLs wie AMP oder hreflang sowie eingebettete Inhalte wie CSS und JavaScript, einschließlich AJAX- XHR-Aufrufe
(wie ) müssen möglicherweise gecrawlt werden und verbrauchen das Crawl-Budget einer Website. Ebenso können lange Weiterleitungsketten einen negativen Effekt auf das Crawling haben. Kann ich den Googlebot mit der
crawl-delay Regel steuern? Die nicht-standardmäßige
crawl-delay robots.txt-Regel wird vom Googlebot nicht verarbeitet. Beeinflusst die
nofollow Regel das Crawl-Budget? Das kommt darauf an. Jede URL, die gecrawlt wird, beeinflusst das Crawl-Budget. Selbst wenn Ihre Seite eine URL als
nofollow
markiert, kann sie dennoch gecrawlt werden, wenn eine andere Seite auf Ihrer Website oder eine beliebige Seite im Web den Link nicht als nofollow kennzeichnet.
Beeinflussen URLs, die ich über robots.txt gesperrt habe, mein Crawl-Budget in irgendeiner Weise?
Nein, gesperrte URLs beeinflussen das Crawl-Budget nicht.
Informationen zur Optimierung des Crawlings Ihrer Website finden Sie in unserem Blogbeitrag zum Thema
Crawling-Optimierung!
So setzen wir das um
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Verwandte Leistungen