Sie können Googlebot daran hindern, bestimmte Abfrageparameter zu indexieren, indem Sie die robots.txt-Datei verwenden, um das Crawling zu untersagen, oder indem Sie das ‘noindex’-Meta-Tag auf Seiten verwenden, die durch diese Parameter generiert werden. Abfrageparameter führen oft zu Problemen mit doppelten Inhalten, wenn mehrere URLs denselben Seiteninhalt bereitstellen. Wenn Sie diese effektiv verwalten, stellen Sie sicher, dass Ihr Crawl-Budget für einzigartige, hochwertige Seiten ausgegeben wird und nicht für redundante Variationen desselben Inhalts.
Wenn Googlebot auf Tausende von eindeutigen URLs stößt, die zum selben Produkt oder zur selben Kategorie führen, verschwendet er Zeit mit dem Crawlen unwichtiger Seiten. Dieser Prozess, der oft als Crawl-Verschwendung bezeichnet wird, kann verhindern, dass Google Ihre wichtigsten Inhaltsaktualisierungen entdeckt. Indem Sie die Kontrolle darüber übernehmen, wie diese Parameter gehandhabt werden, teilen Sie Suchmaschinen mit, welche Versionen Ihrer Seiten die standardmäßigen, maßgeblichen Einträge sind.
Warum verursachen Abfrageparameter Indexierungsprobleme?
Abfrageparameter sind die Zeichenfolgen, die in einer URL auf ein Fragezeichen folgen, wie z. B. ?sort=price oder ?color=blue. Obwohl diese für die Website-Funktionalität nützlich sind, behandeln Suchmaschinen jede eindeutige URL als separate Seite. Wenn Ihre Website Hunderte von Kombinationen für jeden Filter generiert, kann Google Schwierigkeiten haben, Ihre tatsächlichen Inhalte zu crawlen. Dies führt zu einer Index-Aufblähung, bei der die Suchmaschine irrelevante oder doppelte Versionen Ihrer Seiten in den Suchergebnissen anzeigt.
Stellen Sie es sich wie eine Bibliothek vor, in der jedes Buch tausend Kopien hat, aber jede Kopie etwas anders ist. Der Bibliothekar, in diesem Fall Googlebot, verbringt seine ganze Zeit damit, diese Variationen zu überprüfen, anstatt die einzigartigen Titel zu kategorisieren. Wenn eine Index-Aufblähung auftritt, kann die Leistung Ihrer Website sinken, da die Autorität Ihrer Hauptseiten auf viele minderwertige, parameterlastige URLs verteilt wird.
Wenn Ihre Website diese Parameter außerdem für temporäres Tracking verwendet, wie z. B. Sitzungs-IDs oder Tracking-Codes, könnten Sie am Ende Millionen von URLs im Index haben. Diese Seiten bieten selten einen Mehrwert für einen Benutzer, der nach Informationen sucht. Es handelt sich lediglich um funktionale Artefakte, die vor öffentlichen Suchergebnissen verborgen bleiben sollten, damit die Autorität Ihrer Website auf die Seiten konzentriert bleibt, die tatsächlich konvertieren.
Wie identifiziert man problematische Parameter?
Bevor Sie etwas blockieren, müssen Sie sehen, welche Parameter derzeit indexiert werden. Sie können dies überprüfen, indem Sie eine site:-Suche in Google durchführen oder den Indexabdeckungsbericht in der Google Search Console ansehen. Suchen Sie nach Mustern, bei denen die Basis-URL gleich ist, sich die Parameter aber erheblich unterscheiden. Wenn Sie eine hohe Anzahl von URLs mit Parametern sehen, die keinen einzigartigen inhaltlichen Mehrwert bieten, sind dies Hauptkandidaten für den Ausschluss.
Beginnen Sie damit, Ihre Liste der indexierten URLs aus der Search Console zu exportieren. Filtern Sie diese Liste nach dem Vorhandensein eines Fragezeichens. Wenn Sie eine hohe Häufigkeit bestimmter Zeichenfolgen bemerken, wie z. B. ?sessionid oder ?ref=, sind dies Ihre Ziele. Oft werden diese Parameter automatisch von Plugins oder Serverkonfigurationen hinzugefügt, ohne dass der Website-Betreiber merkt, dass sie indexiert werden.
- Sortierparameter (z. B. ?sort=asc oder ?order=desc)
- Sitzungs-IDs (z. B. ?sid=12345)
- Tracking-Codes (z. B. ?utm_source=email oder ?click_id=xyz)
- Ansichtsmodi (z. B. ?display=grid oder ?layout=list)
Methoden zur Steuerung des Googlebot-Zugriffs
Es gibt mehrere technische Möglichkeiten, um zu steuern, wie Google mit diesen Parametern interagiert. Sie sollten die Methode wählen, die am besten zu Ihrer Website-Architektur passt. Die Verwendung der robots.txt-Datei ist eine gängige Methode, um zu verhindern, dass Googlebot diese URLs überhaupt besucht, was Crawl-Budget spart. Überprüfen Sie jedoch immer, ob diese Seiten keine wertvollen Links enthalten, denen Google folgen soll.
Wenn Sie Seiten einfach aus den Suchergebnissen heraushalten, Google aber dennoch erlauben möchten, sie zu sehen, ist das ‘noindex’-Tag effektiver. Wenn Googlebot eine Seite mit ‘noindex’ besucht, wird diese Seite aus dem Index entfernt. Dies unterscheidet sich von der robots.txt, bei der dem Bot mitgeteilt wird, die Seite überhaupt nicht zu besuchen. Die Wahl des richtigen Tools hängt davon ab, ob Sie Crawl-Budget sparen oder Autorität weitergeben möchten.
- Robots.txt disallow: Am besten zum Blockieren von Pfaden, die zu viel Crawl-Budget verbrauchen.
- Canonical-Tags: Am besten zum Konsolidieren von Ranking-Signalen auf eine einzige, bevorzugte Version.
- Noindex-Meta-Tag: Am besten zum vollständigen Entfernen bestimmter Seiten aus dem Suchindex.
- Serverseitiges Parameter-Stripping: Am besten für eine dauerhafte Bereinigung auf Infrastrukturebene.
Auch wenn das Platzieren von Text in einer winzigen Schriftart… diese Methoden redigieren das Material nicht wirklich auf eine Weise, die Suchmaschinen daran hindert, es zu indexieren.
Google Search Central
Wie Alien Road dies anwendet
Bei Alien Road gehen wir das Parameter-Management an, indem wir zuerst die Serverprotokolle unserer Kunden analysieren. In einem typischen Engagement identifizieren wir, welche Parameter die meiste Crawl-Verschwendung verursachen. Wir implementieren dann eine strukturierte robots.txt-Datei und richten Canonical-Tags ein, um die Autorität auf die Hauptprodukt- oder Kategorieseiten zu konsolidieren. Wir überwachen die Ergebnisse in der Google Search Console, um sicherzustellen, dass die Hauptseiten indexiert bleiben, während die parameterlastigen URLs im Laufe der Zeit herausfallen.
Wenn wir beispielsweise einen großen E-Commerce-Kunden betreuen, stellen wir oft fest, dass die facettierte Navigation Tausende von eindeutigen URL-Kombinationen erstellt. Unser Prozess umfasst das Zuordnen dieser Parameter und die Bestimmung, welche für Google sichtbar sein sollten. Wir testen dann unsere Konfiguration in einer Staging-Umgebung, um sicherzustellen, dass keine kritischen Kategorieseiten versehentlich blockiert werden. Wir halten den Kunden mit einem klaren Bericht auf dem Laufenden, der die Veränderung der Crawl-Trends über 30 Tage zeigt.
Was ist die Best Practice für E-Commerce-Filterung?
E-Commerce-Websites stehen aufgrund der facettierten Navigation oft vor den größten Herausforderungen bei Parametern. Die Best Practice besteht darin, Google das Crawlen der Hauptkategorieseiten zu erlauben, aber Canonical-Tags auf gefilterten Seiten zu verwenden, um auf die übergeordnete Kategorie zurückzuverweisen. Dies stellt sicher, dass nur die sauberste, relevanteste Version der Seite im Suchindex erscheint. Blockieren Sie Seiten nicht über robots.txt, wenn Sie möchten, dass Google weiterhin Link-Equity von ihnen an Ihre Hauptseiten weitergibt.
Berücksichtigen Sie bei der Entfernung von Parametern immer die Benutzererfahrung. Wenn eine gefilterte Ansicht ein spezifisches, hochwertiges Ergebnis liefert, nach dem ein Benutzer suchen könnte, sollten Sie in Erwägung ziehen, diese Version indexiert zu lassen, aber sicherzustellen, dass sie einzigartige Inhalte enthält. Wenn die gefilterte Seite lediglich eine Teilmenge der Hauptkategorie ist, ist das Canonical-Tag Ihr stärkster Verbündeter. Es teilt Google mit, dass die gefilterte Seite eine Variation ist und die Hauptkategorie das wahre Ziel ist.
Wo man diese Woche anfangen sollte
Beginnen Sie mit der Überprüfung Ihres aktuellen Indexstatus mithilfe des ‘Seiten’-Berichts in der Google Search Console. Identifizieren Sie Ihre drei wichtigsten Parameter, die die meisten doppelten URLs generieren. Sobald diese identifiziert sind, konfigurieren Sie Ihre Canonical-Tags so, dass sie auf die kanonische URL für diese Seiten verweisen. Wenn die Parameter rein funktional sind und keinen SEO-Wert bieten, sollten Sie in Erwägung ziehen, ein ‘noindex’-Tag zu diesen spezifischen URL-Mustern hinzuzufügen, um Ihre Suchpräsenz zu bereinigen und Ihre Rankings zu verbessern.