Verwaltung des Crawlings von URLs mit facettierter Navigation

Facettierte Navigation ist eine gängige Funktion von Websites, die es Besuchern ermöglicht, die Anzeige von Elementen (z. B. Produkte, Artikel oder Veranstaltungen) auf einer Seite zu ändern. Es ist eine beliebte und nützliche Funktion, aber ihre häufigste Implementierung, die auf URL-Parametern basiert, kann unendliche URL-Bereiche erzeugen, was der Website auf verschiedene Weise schadet:

• Übermäßiges Crawling: Da die für die facettierte Navigation erstellten URLs neu erscheinen und Crawler nicht bestimmen können, ob die URLs nützlich sind, ohne sie zuerst zu crawlen, greifen die Crawler normalerweise auf eine sehr große Anzahl von URLs mit facettierter Navigation zu, bevor die Prozesse der Crawler feststellen, dass die URLs tatsächlich nutzlos sind.
• Langsameres Discovery-Crawling: Wenn das Crawling aufgrund des vorherigen Punktes für nutzlose URLs aufgewendet wird, haben die Crawler weniger Zeit für neue, nützliche URLs.

Eine typische URL mit facettierter Navigation kann verschiedene Parameter in der Abfragezeichenfolge enthalten, die sich auf die Eigenschaften der Elemente beziehen, nach denen sie filtern. Zum Beispiel:

Ändern eines der URL-Parameter Produkte, Farbe, und
Größe würde eine andere Gruppe von Elementen auf der zugrunde liegenden Seite anzeigen. Dies bedeutet oft eine sehr große Anzahl möglicher Filterkombinationen, was zu einer sehr großen Anzahl möglicher URLs führt. Um Ihre Ressourcen zu schonen, empfehlen wir, diese URLs auf eine der folgenden Arten zu behandeln:

• Wenn Sie nicht möchten, dass die URLs der facettierten Navigation indexiert werden, verhindern Sie das Crawling dieser URLs.
• Wenn Sie möchten, dass die URLs der facettierten Navigation potenziell indexiert werden, stellen Sie sicher, dass die URLs unseren Best Practices entsprechen, die im folgenden Abschnitt beschrieben sind. Denken Sie daran, dass das Crawling von facettierten URLs aufgrund der schieren Menge an URLs und der für das Rendern dieser Seiten erforderlichen Vorgänge tendenziell große Mengen an Rechenressourcen für Websites verbraucht.

Verhindern Sie das Crawling von URLs mit facettierter Navigation

Wenn Sie Serverressourcen sparen möchten und nicht möchten, dass Ihre URLs mit facettierter Navigation in der Google Suche oder anderen Google-Produkten erscheinen, können Sie das Crawling dieser URLs auf eine der folgenden Arten verhindern.

• Verwenden Sie robots.txt um das Crawling von URLs mit facettierter Navigation zu untersagen. Oft gibt es keinen guten Grund, das Crawling gefilterter Elemente zuzulassen, da dies Serverressourcen ohne oder mit vernachlässigbarem Nutzen verbraucht; erlauben Sie stattdessen nur das Crawling der einzelnen Artikelseiten zusammen mit einer dedizierten Listenseite, die alle Produkte ohne angewendete Filter anzeigt.
• Verwenden Sie URL-Fragmente, um Filter anzugeben.

  Wenn Ihr Filtermechanismus auf URL-Fragmenten basiert, hat dies keine Auswirkungen auf das Crawling (positiv oder negativ). Verwenden Sie zum Beispiel anstelle von URL-Parametern URL-Fragmente:

  

Andere Möglichkeiten, eine Präferenz dafür zu signalisieren, welche URLs mit facettierter Navigation (nicht) gecrawlt werden sollen, ist die Verwendung des
rel="canonical" Link Elements und des rel="nofollow" Anker-Attributs. Diese Methoden sind jedoch langfristig im Allgemeinen weniger effektiv als die zuvor genannten Methoden.

• Verwendung von rel="canonical"
  um anzugeben, welche URL die kanonische Version einer URL mit facettierter Navigation ist
  kann mit der Zeit das Crawl-Volumen der nicht-kanonischen Versionen dieser URLs verringern. Wenn Sie beispielsweise 3 gefilterte Seitentypen haben, sollten Sie in Erwägung ziehen, das rel="canonical" auf die ungefilterte Version zu verweisen:
  https://example.com/items.shtm?products=fish&color=radioactive_green&size=tiny
  gibt an <link rel="canonical" href="https://example.com/items.shtm?products=fish" >.
• Verwendung von
  rel="nofollow"
  Attributen auf Ankern, die auf gefilterte Ergebnisseiten verweisen
  kann vorteilhaft sein, aber denken Sie daran, dass jeder Anker, der auf eine bestimmte URL verweist, das rel="nofollow" Attribut haben muss, damit es effektiv ist.

Stellen Sie sicher, dass die URLs der facettierten Navigation für das Web optimal sind

Wenn Sie möchten, dass Ihre URLs mit facettierter Navigation potenziell gecrawlt und indexiert werden, stellen Sie sicher, dass Sie diese Best Practices befolgen, um die negativen Auswirkungen des Crawlings der großen Anzahl potenzieller URLs auf Ihrer Website zu minimieren:

1. Verwenden Sie das branchenübliche URL-Parameter-Trennzeichen ‘&‘. Zeichen wie Komma (“,”), Semikolon (“;”) und Klammern (“(” und “)”) sind für Crawler schwer als Parametertrennzeichen zu erkennen (da sie meistens keine Trennzeichen sind).,Wenn Sie Filter im URL-Pfad kodieren, wie z. B.;/products/[ fish
   ]green
2. tiny
   , stellen Sie sicher, dass die logische Reihenfolge der Filter immer gleich bleibt und keine doppelten Filter existieren können.Geben Sie einen HTTP/Statuscode zurück, wenn eine Filterkombination keine Ergebnisse liefert./Wenn sich keine grünen Fische im Inventar der Website befinden, sollten Benutzer sowie Crawler einen "Nicht gefunden"-Fehler mit dem richtigen HTTP-Statuscode erhalten (). Dies sollte auch der Fall sein, wenn die URL doppelte Filter oder anderweitig unsinnige Filterkombinationen sowie nicht existierende Paginierungs-URLs enthält. Leiten Sie bei einer Filterkombination ohne Ergebnisse ebenfalls nicht auf eine allgemeine “Nicht gefunden”-Fehlerseite um. Geben Sie stattdessen einen “Nicht gefunden”-Fehler mit dem
3. HTTP-Statuscode unter der URL aus, unter der er aufgetreten ist. 404 Wenn
   Sie eine Single-Page-App haben404ist dies möglicherweise nicht möglich. Befolgen Sie die Best Practices für Single-Page-Apps. 404
   Verwaltung des Crawlings von URLs mit facettierter Navigation | Alien Road