Die Erkennung von Crawler-Fallen ist der Prozess der Identifizierung von URL-Mustern, die Suchmaschinen-Bots in endlose Schleifen zwingen, Serverressourcen verbrauchen und die Entdeckung neuer Inhalte einschränken. Diese Fallen treten auf, wenn dynamische Parameter wie Filter oder Sortieroptionen eine nahezu endlose Anzahl eindeutiger URLs erzeugen, die auf denselben oder ähnlichen Seiteninhalt verweisen. Durch die Identifizierung dieser Strukturen können Teams verhindern, dass Google Zeit mit minderwertigen Seiten verschwendet, und sicherstellen, dass kritische Seitenaktualisierungen den Index schneller erreichen.
Warum treten Crawler-Fallen bei der Facettennavigation auf?
Die Facettennavigation ist eine hilfreiche Möglichkeit für Benutzer, Produkte nach Farbe, Preis oder Größe zu filtern. Wenn diese Filter jedoch URL-Parameter verwenden, die in beliebiger Reihenfolge kombiniert werden können, erzeugen sie eine astronomische Anzahl möglicher URLs. Googlebot weiß nicht von Natur aus, welche Kombinationen nützlich und welche redundant sind.
Die Facettennavigation ist eine häufige Funktion von Websites, die es Besuchern ermöglicht, die Anzeige von Elementen auf einer Seite zu ändern.
Google Search Central
Da Crawler nicht zwischen einer gefilterten Ansicht, die einen einzigartigen Bestand enthält, und einer, die nur ein Duplikat ist, unterscheiden können, versuchen sie möglicherweise, jede Variation zu crawlen. Dies führt zu Overcrawling, bei dem Ihr Server Tausende von Anfragen für Seiten verarbeitet, die den Suchnutzern keinen Mehrwert bieten. In vielen Fällen erzeugt die Kombination von Parametern einen Pfad, der zu leeren Seiten oder recycelten Inhalten führt, wodurch der Bot effektiv in einem Kreislauf gefangen wird, der keinen Nutzen für den Index bietet.
Zum Beispiel könnte eine E-Commerce-Website mit 50 Produkten Filter für Farbe, Größe, Material und Marke haben. Wenn ein Benutzer diese in beliebiger Reihenfolge auswählen kann, kann die Anzahl der generierten URLs in die Millionen gehen. Googlebot wird versuchen, jedem dieser Links zu folgen und dabei die eigentlichen Produktseiten verpassen, die gerankt werden sollten.
Wie können Sie potenzielle Fallen auf Ihrer Website identifizieren?
Die Überwachung Ihrer Server-Logs ist der direkteste Weg, um diese Probleme zu erkennen. Wenn Sie ein hohes Volumen an Anfragen für URLs mit mehreren Abfrageparametern bemerken, haben Sie wahrscheinlich eine Falle identifiziert. Sie sollten während Ihrer Analyse auf diese häufigen Indikatoren achten:
- URLs mit wiederholten Parametern, wie ?color=blue&color=red.
- Sortierparameter, die für jede Besuchersitzung eindeutige URLs generieren.
- Filterkombinationen, die zu leeren Suchergebnisseiten führen.
- Dynamische Sitzungs-IDs, die in die URL-Struktur eingebettet sind.
Suchen Sie neben Log-Dateien nach Mustern im Bericht ‘Crawl-Statistiken’ in der Google Search Console. Wenn die Anzahl der ‘Gecrawlt – zurzeit nicht indexiert’ oder ‘Gefunden – zurzeit nicht indexiert’ steigt, ist dies ein Zeichen dafür, dass der Crawler zu viele URL-Variationen findet. Sie müssen zwischen nützlichen, indexierbaren Landingpages und dem durch die Website-Architektur erzeugten Rauschen unterscheiden.
Berücksichtigen Sie die Auswirkungen der ‘Sortieren nach’-Funktionalität. Wenn ein Benutzer auf ‘Sortieren nach Preis: hoch zu niedrig’ klickt, erstellt dies normalerweise eine neue URL. Wenn Googlebot diesem Link folgt, sieht er dieselben Produkte wie auf der Kategorieseite, nur in einer anderen Reihenfolge. Multiplizieren Sie dies mit zehn Sortieroptionen, und Sie haben zehnmal mehr Arbeit für den Crawler geschaffen, ohne einen Gewinn an einzigartigem Inhalt.
Wie Alien Road dies anwendet
Bei Alien Road beginnt unser Ansatz mit einer tiefgreifenden Prüfung der Crawl-Log-Daten. Wir analysieren, welche URL-Muster den höchsten Prozentsatz des täglichen Crawl-Budgets verbrauchen. Bei einem typischen E-Commerce-Kunden stellen wir oft fest, dass 70 % der gecrawlten URLs durch redundante Facetten generiert werden. Wir gleichen diese mit Konversionsdaten ab, um sicherzustellen, dass wir keine Seiten blockieren, die tatsächlich Umsatz generieren.
Sobald wir diese Muster identifiziert haben, implementieren wir eine strukturierte Hierarchie für Parameter. Wir bevorzugen die Verwendung von Canonical-Tags, um Bots auf die Hauptkategorieseite zu leiten, oder blockieren unnötige Parameterkombinationen über robots.txt, wenn sie keinen Suchwert bieten. Wir dokumentieren jede Änderung, um sicherzustellen, dass die interne Suchfunktionalität intakt bleibt, während sich Googlebot auf wirkungsvolle Seiten konzentriert.
Wir führen auch regelmäßige Check-ins durch. Nach der Bereitstellung eines Fixes überwachen wir den Bericht ‘Seiten’ in der Google Search Console, um zu sehen, ob sich die Anzahl der gecrawlten URLs stabilisiert. Wenn wir einen Rückgang der Serverlast, aber einen Anstieg des Traffics zu Kernproduktseiten sehen, wissen wir, dass das Audit erfolgreich war. Dieser Prozess wird wiederholt, wann immer der Kunde eine neue Kollektion startet oder seine Website-Navigation ändert.
Welche Strategien verhindern die Verschwendung des Crawl-Budgets?
Die Verwaltung Ihres Crawl-Budgets erfordert einen disziplinierten Ansatz, wie Sie Ihre Website-Struktur Bots gegenüber offenlegen. Sie können mehrere Standard-Tools und Protokolle verwenden, um den Crawler zu den relevantesten Inhalten und weg von Schleifen zu führen.
- Verwenden Sie die robots.txt-Datei, um den Zugriff auf bestimmte Parameter-Strings zu verweigern, von denen bekannt ist, dass sie Schleifen erzeugen.
- Implementieren Sie Canonical-Tags auf allen Facettenseiten, um Google die primäre Version zu signalisieren.
- Konfigurieren Sie die Parameterbehandlung, wenn die Website-Architektur dies unterstützt.
- Stellen Sie sicher, dass Links zu Filterkombinationen das nofollow-Attribut verwenden, wenn keine Indexierung gewünscht ist.
Seien Sie bei der Verwendung der robots.txt-Datei präzise. Das Blockieren eines gesamten Verzeichnisses kann zu unbeabsichtigten Konsequenzen führen, wenn sich dort legitime Seiten befinden. Zielen Sie stattdessen auf die spezifischen Abfrage-Strings ab, von denen Sie wissen, dass sie problematisch sind. Dies hält den Crawler aus der Falle fern, während er die Stammkategorie weiterhin besuchen kann.
Canonical-Tags sind ein starkes Werkzeug zur Verwaltung von doppeltem Inhalt. Indem Sie jede Variation einer gefilterten Seite auf die saubere, ursprüngliche URL verweisen, informieren Sie Google darüber, dass diese Seiten zwar existieren, aber nicht als eigenständige Einheiten behandelt werden sollten. Dies hilft, Ranking-Signale für die Hauptseite zu konsolidieren.
Wo man diese Woche anfangen sollte
Beginnen Sie mit der Überprüfung Ihres Crawl-Statistik-Berichts in der Google Search Console. Identifizieren Sie die Top 50 URLs nach Crawl-Häufigkeit und prüfen Sie, ob es sich um einzigartige Seiten oder nur um gefilterte Versionen einer Hauptkategorie handelt. Wenn Sie Duplikate finden, wählen Sie eine Methode – wie ein Canonical-Tag oder einen robots.txt-Block –, um sie zu adressieren. Konzentrieren Sie sich auf eine Kategorie nach der anderen, um zu beobachten, wie sich das Crawl-Verhalten in den nächsten sieben Tagen ändert.
Untersuchen Sie als Nächstes Ihre internen Links. Verlinken Sie auf jede mögliche Filterkombination in Ihrer Seitenleiste? Das Ersetzen dieser aktiven Links durch JavaScript-gesteuerte Filter oder nicht indexierbare Elemente kann verhindern, dass Crawler die Fallen überhaupt finden. Kleine, bewusste Änderungen an Ihrer Website-Architektur erzielen bessere Ergebnisse als reaktives Blockieren.