Das Googlebot-Crawl-Budget für den E-Commerce bezieht sich auf die Anzahl der URLs, die ein Suchmaschinen-Crawler innerhalb eines bestimmten Zeitraums auf Ihrer Website besuchen kann und möchte. Bei großen Shops generiert die facettierte Navigation oft eine unendliche Anzahl von URL-Variationen durch Filter wie Größe, Farbe oder Preis. Wenn sie nicht verwaltet werden, können diese Kombinationen Ihr Crawl-Budget verbrauchen und Google daran hindern, Ihre wertvollen Produktseiten zu finden.
Jede Anfrage von Googlebot verbraucht Serverressourcen und Zeit. Wenn eine E-Commerce-Website aufgrund von Filterkombinationen Millionen von URLs generiert – wie ‘rote Schuhe’ kombiniert mit ‘Größe 10’ und ‘Preis unter 50’ – kann der Crawler sein gesamtes Kontingent damit verbringen, diese minderwertigen Seiten zu indexieren. Dies führt dazu, dass Ihre primären Produktseiten auf eine Crawl-Anfrage warten, die möglicherweise tagelang oder wochenlang nicht erfolgt.
Welche Auswirkungen hat die facettierte Navigation auf das Crawling?
Die facettierte Navigation ermöglicht es Benutzern, Ergebnisse zu filtern, erstellt jedoch eindeutige URLs für jede Permutation. Wenn eine Kategorie fünf Filter hat, von denen jeder mehrere Optionen bietet, wächst die Anzahl der generierten URLs exponentiell. Googlebot behandelt diese als separate Seiten, was zu Index-Bloat und Ressourcenerschöpfung führen kann.
Wenn Crawler in einer Endlosschleife von Filterpermutationen stecken bleiben, hören sie oft ganz auf, neue Produkte zu entdecken. Dies ist als Index-Bloat-Problem bekannt. Die Suchmaschine verbringt ihre Zeit damit, redundante Seiten zu verarbeiten, die den Benutzern keinen einzigartigen Wert bieten, und ignoriert effektiv den Rest Ihrer Website. Dies ist ein häufiger Engpass für große E-Commerce-Plattformen.
Betrachten Sie das Szenario eines Shops mit 50.000 Produkten. Wenn jedes Produkt zu vier Kategorien gehört und sechs Filter verwendet, kann der potenzielle URL-Raum in die Millionen gehen. Googlebot kann nicht jeden einzelnen dieser Pfade besuchen. Er muss Entscheidungen treffen, und wenn die Seitenstruktur nicht klar ist, wird er die falschen Inhalte priorisieren.
- Probleme mit doppeltem Inhalt aufgrund von Parameter-Variationen.
- Verschwendung von Serverressourcen auf minderwertigen Seiten.
- Langsamere Entdeckung neuer Produktlisten.
- Verwässerung von Ranking-Signalen über redundante URLs hinweg.
Wie identifiziert man Crawl-Budget-Probleme?
Sie können feststellen, ob Ihre Website mit dem Crawl-Budget zu kämpfen hat, indem Sie Ihre Serverprotokolle und den Crawl-Statistik-Bericht in der Search Console überprüfen. Ein hohes Volumen an Anfragen für URLs, die Filterparameter enthalten, ist ein klarer Indikator. Wenn Ihre Website Millionen von Seiten hat, aber nur ein Bruchteil indexiert ist, könnte Ihr Budget zu dünn über minderwertige Filterseiten verteilt sein.
Achten Sie auf einen hohen Prozentsatz an Statuscodes wie ‘nicht geändert’ oder ‘gecrawlt – zurzeit nicht indexiert’ in Ihren Berichten. Diese zeigen an, dass Googlebot Ihre Seiten findet, aber entscheidet, dass sie den Aufwand der Indexierung nicht wert sind. Die Überwachung des Verhältnisses zwischen gecrawlten und indexierten Seiten liefert ein klares Signal für den Zustand Ihrer Website in Bezug auf die Effizienz der Suchmaschine.
Ein weiterer Indikator ist der Status ‘gefunden – zurzeit nicht indexiert’. Dies deutet oft darauf hin, dass Google weiß, dass die Seite existiert, sich aber entschieden hat, sie nicht zu priorisieren. In einem typischen Konto bestätigt dieser Status, dass der Crawler auf eine Wand stößt, wahrscheinlich aufgrund des schieren Volumens an URLs mit geringem Nutzen, auf die er während des Prozesses gestoßen ist.
Best Practices für das Management des Crawlings bei facettierter Navigation
Ein effektives Management erfordert eine Kombination aus technischen Richtlinien, um Googlebot von irrelevanten Pfaden wegzuleiten. Verwenden Sie die folgenden Methoden, um wichtige Seiten zu priorisieren und zu verhindern, dass der Crawler in Parameter-Schleifen gefangen wird.
- Implementieren Sie Canonical-Tags, die auf die Hauptkategorieseite verweisen.
- Verwenden Sie robots.txt, um spezifische Filterparameter zu disallowen.
- Verwenden Sie noindex-Tags für Filterkombinationen mit hohem Volumen und geringem Wert.
- Stellen Sie sicher, dass Ihre Sitemap nur die URLs enthält, die indexiert werden sollen.
Konsistenz ist hier entscheidend. Stellen Sie sicher, dass Ihre Canonical-Tags absolut sind und auf die beabsichtigte URL verweisen. Wenn Sie sich entscheiden, bestimmte Parameter über robots.txt zu blockieren, stellen Sie sicher, dass diese Parameter für den Benutzer nicht erforderlich sind, um den gewünschten Inhalt zu erreichen. Ein falsches Blockieren kann Google daran hindern, Inhalte zu erreichen, die Sie tatsächlich in den Suchergebnissen anzeigen möchten.
Das Testen Ihrer Änderungen ist ebenfalls unerlässlich. Bevor Sie eine robots.txt-Änderung in Ihrer Produktionsumgebung bereitstellen, verwenden Sie den robots.txt-Tester, um sicherzustellen, dass Sie nicht versehentlich eine Kategorieseite blockieren, die für den organischen Traffic entscheidend ist. Kleine Syntaxfehler können zu einem plötzlichen Sichtbarkeitsverlust in Ihrem gesamten Produktkatalog führen.
Wie Alien Road diese Technologie anwendet
Bei einem typischen Kundenauftrag beginnen wir mit der Prüfung der bestehenden URL-Struktur, um abzubilden, wie Parameter der facettierten Navigation gehandhabt werden. Wir analysieren Serverprotokolle, um zu identifizieren, welche Muster Googlebot am häufigsten aufruft. Für einen Shop mit einem riesigen Produktkatalog empfehlen wir oft einen hybriden Ansatz. Wir konsolidieren Parameter, die keinen einzigartigen Wert hinzufügen, während wir sicherstellen, dass SEO-freundliche Filter, wie ‘Bestseller’ oder ‘hoch bewertete’ Varianten, zugänglich bleiben.
Anschließend konfigurieren wir die interne Verlinkung, um den Pfad für Googlebot zu priorisieren. Durch die Bereinigung der URL-Struktur reduzieren wir die Gesamtzahl der crawlaren Seiten, ohne die Funktionalität für den Endbenutzer zu verlieren. Diese technische Bereinigung wird durch die Überwachung des Crawl-Statistik-Berichts gefolgt, um zu bestätigen, dass die Anfragerate für redundante Seiten abnimmt, was es dem Crawler ermöglicht, primäre Produktseiten häufiger zu besuchen.
Zum Beispiel stellen wir oft fest, dass eine Website URLs mit Tracking-Parametern oder Session-IDs generiert, die für die Indexierung völlig unnötig sind. Unser Team identifiziert diese Strings und weist Googlebot an, sie mithilfe des URL-Parameter-Tools oder durch Standardisierung der URL-Struktur zu ignorieren. Diese einfache Verschiebung führt oft zu einem signifikanten Anstieg des Crawlings von Kernproduktseiten.
Warum sollte man Crawling von Indexierung trennen?
Das Verständnis des Unterschieds zwischen diesen beiden Prozessen ist der Schlüssel. Crawling ist der Akt der Entdeckung, bei dem Googlebot Ihre URLs findet. Indexierung ist der Prozess des Hinzufügens dieser URLs zur Google-Suchdatenbank. Wenn Sie zu viele crawlare Seiten haben, verwässern Sie die Energie, die Googlebot für Ihre Website aufwendet.
Wenn Sie Seiten haben, die Benutzer sehen sollen, die aber nicht in den Suchergebnissen erscheinen müssen, halten Sie sie crawlbar, aber verwenden Sie noindex. Dies ermöglicht es der Seite, für den Benutzer zu funktionieren, während Google signalisiert wird, dass sie nicht in die Suchergebnisse aufgenommen werden sollte. Dieser Ansatz spart Ihr Crawl-Budget für die Seiten, die für Ihren Geschäftsumsatz wirklich wichtig sind.
Verwaltung des Crawlings von URLs mit facettierter Navigation
Google Search Central
Wo man diese Woche anfangen sollte
Beginnen Sie damit, Ihre Crawl-Statistiken aus der Search Console herunterzuladen und nach Ihren häufigsten Parameter-Strings zu filtern. Identifizieren Sie, welche Parameter für die Benutzerkonvertierung absolut notwendig sind und welche reines Rauschen sind. Sobald dies identifiziert ist, wenden Sie ein Canonical-Tag auf die übergeordnete Kategorie für alle nicht wesentlichen Filterkombinationen an.
Überwachen Sie die Website zwei Wochen lang, um zu beobachten, wie sich das Crawler-Verhalten an diese neuen Richtlinien anpasst. Überprüfen Sie den ‘Crawl-Statistik’-Bericht erneut, um zu sehen, ob die Anzahl der Anfragen für gefilterte URLs gesunken ist. Wenn dies der Fall ist, haben Sie erfolgreich Kapazität für Googlebot freigesetzt, um mehr Zeit auf Ihren priorisierten Seiten zu verbringen.
Wenn Sie feststellen, dass die Crawl-Raten für irrelevante Seiten immer noch hoch sind, ziehen Sie in Betracht, robots.txt zu verwenden, um diese spezifischen URL-Muster zu blockieren. Denken Sie daran, Ihre Änderungen gründlich zu testen. Ein stetiger, datengesteuerter Ansatz für technisches SEO wird bessere Ergebnisse liefern als schnelle, unüberwachte Änderungen.