Das Crawl-Budget ist der Schnittpunkt zweier Faktoren: Crawl-Rate-Limit (wie viel Google abrufen kann, ohne Ihren Server zu überlasten) und Crawl-Nachfrage (wie viel Google basierend auf Popularität und Aktualität abrufen möchte).
Wer sich tatsächlich darum kümmern muss
Google stellt klar, dass dies für die meisten Websites nicht gilt. Relevant wird es für Websites mit mehr als grob einer Million URLs, die sich regelmäßig ändern, oder für mittelgroße Websites (10.000+ URLs) mit sehr häufig wechselnden Inhalten. Darunter ist die Ursache, wenn Seiten nicht indexiert werden, fast immer auf Qualität oder Auffindbarkeit zurückzuführen und nicht auf das Budget.
Was es verschwendet
- Facettennavigation, die endlose URL-Kombinationen generiert
- Session-IDs und Tracking-Parameter in URLs
- Soft-404-Seiten, die den Statuscode 200 zurückgeben
- Unendliche Kalender und paginierte Archive ohne Ende
- Doppelter Content über Parameter-Variationen hinweg
Alien Road empfiehlt: Bevor Sie das Crawl-Budget optimieren, überprüfen Sie die Server-Logfiles. Wir fragen bei jedem Projekt mit großen Websites nach Roh-Logs, da diese zeigen, was Googlebot tatsächlich angefordert hat, und in den meisten Fällen wird das Crawling für Parameter-URLs verschwendet, von denen niemand wusste. Dies zu beheben ist schneller und sicherer als jede Direktive, die Sie hinzufügen können.
So setzen wir das um
Crawl budget matters on large sites and is a distraction on small ones. Our threshold matches Google’s: below roughly ten thousand URLs we do not touch it, and above that we start with server logs rather than with crawl-budget theories.
Verwandte Leistungen