Crawl-Fallen in der Facettennavigation treten auf, wenn eine Website eine unendliche Anzahl eindeutiger URLs durch Produktfilter, Sortierparameter oder Session-IDs generiert. Diese Fallen erschöpfen das vom Googlebot zugewiesene Crawl-Budget und zwingen den Crawler, Zeit für doppelte oder minderwertige Inhalte anstelle Ihrer primären Produkt- und Kategoriestellen aufzuwenden. Durch die Identifizierung dieser Muster und die Implementierung strenger Ausschlussregeln stellen Sie sicher, dass Suchmaschinen Ihre wertvollsten Landingpages priorisieren.
Was verursacht Crawl-Fallen in Ihrer Seitenarchitektur?
Crawl-Fallen sind selten absichtlich, resultieren aber oft daraus, wie Entwickler datenbankgesteuerte Filterung strukturieren. Wenn eine E-Commerce-Website Benutzern erlaubt, mehrere Filter zu kombinieren – wie Größe, Farbe, Preisbereich und Sortierreihenfolge –, wächst die Anzahl potenzieller URL-Kombinationen exponentiell. Wenn jede dieser Kombinationen über eine eindeutige URL zugänglich ist, behandelt der Googlebot sie als unterschiedliche Seiten, selbst wenn der Inhalt nahezu identisch ist.
Betrachten Sie einen Shop, der Sportbekleidung verkauft. Wenn ein Benutzer nach Farbe (5 Optionen), Größe (6 Optionen) und Marke (10 Optionen) filtern kann, generiert das System Hunderte von Pfaden. Wenn die Website auch die Sortierung nach Preis, Datum oder Beliebtheit erlaubt, erreicht die Gesamtzahl der eindeutigen Adressen Tausende. Der Googlebot stößt auf diese als eindeutige Anfragen, was Ressourcen von den Kernproduktseiten ablenkt.
Diese Probleme rühren oft daher, wie CMS-Plattformen Abfragezeichenfolgen handhaben. Wenn Entwickler keine kanonischen Beziehungen definieren oder Nicht-Indexierungs-Tags auf gefilterte Ergebnisse anwenden, geht der Crawler davon aus, dass jede einzelne Kombination ein einzigartiges Stück Inhalt ist, das es wert ist, untersucht zu werden. Dieses Verhalten ist der Hauptgrund, warum große Stores plötzlich feststellen, dass ihre Indexabdeckungsberichte mit Tausenden von minderwertigen, parameterlastigen URLs gefüllt sind.
- Sortierparameter: Das Hinzufügen von ?sort=price-asc oder ?sort=newest erzeugt redundante Seiten.
- Filterkombinationen: Die Auswahl von ‘Blau’ und ‘Klein’ erzeugt eine andere URL als ‘Klein’ und ‘Blau’.
- Session-IDs: Das Anhängen von Tracking-Codes wie ?sid=12345 an jeden Besucherlink.
- Paginierungsschleifen: Dem Googlebot erlauben, Links zu unendlichen oder kreisförmigen Seitenergebnissen zu folgen.
So erkennen Sie Probleme mit der Facettennavigation
Sie können überwachen, wie Google mit diesen Parametern interagiert, indem Sie den Bericht zur Crawl-Statistik in der Google Search Console verwenden. Suchen Sie nach einer hohen Anzahl indexierter Seiten, die nicht tatsächlichen umsatzgenerierenden Kategorien entsprechen. Wenn Sie einen Anstieg der Anfragen nach URLs bemerken, die mehrere Parameter enthalten, haben Sie wahrscheinlich eine Crawl-Falle identifiziert.
Server-Logs bieten das genaueste Bild dieses Verhaltens. Indem Sie Ihre Zugriffs-Logs nach Anfragen des Googlebot-User-Agents filtern, können Sie sehen, ob der Crawler häufig URLs mit langen Abfrageparameter-Zeichenfolgen aufruft. Wenn Ihre Logs Tausende von Anfragen für Variationen zeigen, die zur selben Produktliste führen, sehen Sie ein klares Zeichen für die Verschwendung des Crawl-Budgets.
Eine gut strukturierte robots.txt-Datei hindert Bots daran, auf Filtervariationen, Session-IDs und Tracking-Codes zuzugreifen, die unendliche URL-Kombinationen erzeugen.
Google Search Central
Behebung von Crawl-Fallen mit robots.txt und kanonischen Tags
Der direkteste Weg, um die Verschwendung durch den Crawler zu stoppen, besteht darin, bestimmte Parametermuster in Ihrer robots.txt-Datei zu blockieren. Dies verhindert vollständig, dass der Googlebot diese Seiten anfordert. Stellen Sie jedoch sicher, dass Sie keine Seiten blockieren, die Sie tatsächlich indexiert haben möchten.
Kanonische Tags sind gleichermaßen wichtig für die Verwaltung doppelter Inhalte. Wenn Sie mehrere Möglichkeiten haben, eine Kategorie anzuzeigen, teilt das kanonische Tag Google mit, welche URL die Masterversion ist. Dies verhindert, dass die Suchmaschine gefilterte Ergebnisse als einzelne Seiten behandelt, und signalisiert effektiv, dass der Inhalt eine Variante der Hauptkategorie ist.
Für fortgeschiertere Setups können Sie in Erwägung ziehen, das ‘noindex’-Meta-Tag auf Seiten zu verwenden, die von Filtern generiert werden. Dies ermöglicht dem Crawler, die Seite zu besuchen, weist die Suchmaschine jedoch an, sie nicht in den Suchergebnissen anzuzeigen. Diese Strategie ist nützlich für interne Suchen oder hochspezifische Filterkombinationen, die Sucheuchenden wenig Wert bieten, aber für die Navigation der Website nützlich bleiben.
- Verwenden Sie die Disallow-Direktive in robots.txt für URL-Muster, die unwesentliche Abfrageparameter enthalten.
- Implementieren Sie sich selbst referenzierende kanonische Tags, um Google auf die originale, saubere URL hinzuweisen.
- Wenden Sie noindex-Tags auf Filterseiten an, die Suchmaschinenbenutzern einen geringen Nutzen bieten.
- Stellen Sie sicher, dass Ihre interne Linkstruktur saubere URLs gegenüber parameterlastigen Links priorisiert.
Wie Alien Road dies anwendet
Bei Alien Road verwalten wir die Crawl-Effizienz, indem wir zunächst einen vollständigen Website-Crawl durchführen, um die Tiefe parametergenerierter Seiten abzubilden. Wir analysieren Server-Logs, um genau zu sehen, auf welche Muster der Googlebot die meiste Zeit verwendet. In einem typischen Engagement konsolidieren wir diese Erkenntnisse in einem spezifischen robots.txt-Regelsatz, der sekundäre Sortier- und Filterkombinationen blockiert, während wesentliche Kategorien offen bleiben.
Unser Prozess beginnt mit der Identifizierung des Verhältnisses von ‘Crawl zu Index’. Wenn eine Website 10.000 Seiten hat, aber nur 500 indexiert sind, suchen wir nach der technischen Barriere. Wir erstellen eine Liste von Parametern, testen die robots.txt-Ausschlüsse in einer Staging-Umgebung, um sicherzustellen, dass keine Kerninhalte blockiert werden, und überwachen dann die Logs für zwei Wochen nach der Bereitstellung. Dieser Ansatz macht den Weg frei, damit der Googlebot schnell neue Produkte finden kann.
Wann sollten Sie Ihre Crawl-Strategie aktualisieren?
Sie sollten Ihre URL-Struktur jedes Mal überprüfen, wenn Sie ein größeres Website-Update einführen oder eine neue Filterkategorie hinzufügen. Wenn Sie feststellen, dass Ihre Crawl-Rate auf Kernseiten sinkt, überprüfen Sie sofort Ihre Logs. Die Aufrechterhaltung einer sauberen URL-Struktur ist eine fortlaufende Aufgabe, die Ihre Website für die langfristige Entdeckung gesund hält.
Häufige Aktualisierungen der Seitenarchitektur können neue Parameter einführen. Wenn Ihr Entwicklungsteam einen ‘Farbpähler’ oder einen ‘Größenleitfaden’ hinzufügt, der Daten an die URL anhängt, müssen Sie Ihre Ausschlussregeln aktualisieren. Proaktive Wartung verhindert die langsame Ansammlung von Crawl-Verschwendung, die oft unbemerkt bleibt, bis die Auswirkungen auf die Indexierung schwerwiegend werden.
Wo Sie diese Woche anfangen sollten
Beginnen Sie damit, Ihre Crawl-Statistiken in der Google Search Console zu überprüfen, um die Top-Parameter zu identifizieren, die Ihr Crawl-Budget verbrauchen. Erstellen Sie eine Liste dieser Parameter und testen Sie Ihre robots.txt-Ausschlüsse in einer Staging-Umgebung. Sobald dies überprüft ist, implementieren Sie die Änderungen, um sicherzustellen, dass Ihre Website-Ressourcen Ihren wichtigsten Inhalten gewidmet bleiben. Konzentrieren Sie sich jeweils auf einen Parameter, um die Auswirkungen genau zu verfolgen.