Gestion du crawl des URLs de navigation à facettes

La navigation à facettes est une fonctionnalité courante des sites web qui permet à ses visiteurs de modifier la façon dont les éléments (par exemple, produits, articles ou événements) sont affichés sur une page. C’est une fonctionnalité populaire et utile, cependant son implémentation la plus courante, qui est basée sur des paramètres d’URL, peut générer des espaces d’URL infinis qui nuisent au site web de plusieurs manières :

• Crawl excessif: Étant donné que les URLs créées pour la navigation à facettes semblent être nouvelles et que les crawlers ne peuvent pas déterminer si les URLs seront utiles sans les crawler d’abord, les crawlers accéderont généralement à un très grand nombre d’URLs de navigation à facettes avant que les processus des crawlers ne déterminent que les URLs sont en fait inutiles.
• Crawl de découverte plus lent: Dérivé du point précédent, si le crawl est consacré à des URLs inutiles, les crawlers ont moins de temps à consacrer aux nouvelles URLs utiles.

Une URL de navigation à facettes typique peut contenir divers paramètres dans la chaîne de requête liés aux propriétés des éléments qu’ils filtrent. Par exemple :

Modifier l’un des paramètres de l’URL produits, couleur, et
taille afficherait un ensemble différent d’éléments sur la page sous-jacente. Cela signifie souvent un très grand nombre de combinaisons de filtres possibles, ce qui se traduit par un très grand nombre d’URLs possibles. Pour économiser vos ressources, nous vous recommandons de traiter ces URLs de l’une des manières suivantes :

• Si vous n’avez pas besoin que les URLs de navigation à facettes soient indexées, empêchez le crawl de ces URLs.
• Si vous avez besoin que les URLs de navigation à facettes soient potentiellement indexées, assurez-vous que les URLs suivent nos meilleures pratiques décrites dans la section suivante. Gardez à l’esprit que le crawl des URLs à facettes a tendance à coûter aux sites de grandes quantités de ressources informatiques en raison du nombre considérable d’URLs et d’opérations nécessaires pour rendre ces pages.

Empêcher le crawl des URLs de navigation à facettes

Si vous souhaitez économiser des ressources serveur et que vous n’avez pas besoin que vos URLs de navigation à facettes apparaissent dans Google Search ou d’autres produits Google, vous pouvez empêcher le crawl de ces URLs de l’une des manières suivantes.

• Utilisez robots.txt pour interdire le crawl des URLs de navigation à facettes. Souvent, il n’y a aucune bonne raison d’autoriser le crawl des éléments filtrés, car cela consomme des ressources serveur sans avantage ou avec un avantage négligeable ; autorisez plutôt le crawl uniquement des pages d’éléments individuels ainsi qu’une page de liste dédiée qui affiche tous les produits sans filtres appliqués.
• Utilisez des fragments d’URL pour spécifier les filtres.

  Si votre mécanisme de filtrage est basé sur des fragments d’URL, cela n’aura aucun impact sur le crawl (positif ou négatif). Par exemple, au lieu de paramètres d’URL, utilisez des fragments d’URL :

  

D’autres moyens de signaler une préférence sur les URLs de navigation à facettes à crawler (ou non) consistent à utiliser le
rel="canonical" lien élément et l’attribut rel="nofollow" d’ancrage. Cependant, ces méthodes sont généralement moins efficaces à long terme que les méthodes mentionnées précédemment.

• Utiliser rel="canonical"
  pour spécifier quelle URL est la version canonique d’une URL de navigation à facettes
  peut, avec le temps, diminuer le volume de crawl des versions non canoniques de ces URLs. Par exemple, si vous avez 3 types de pages filtrées, envisagez de pointer le rel="canonical" vers la version non filtrée :
  https://example.com/items.shtm?products=fish&color=radioactive_green&size=tiny
  spécifie <link rel="canonical" href="https://example.com/items.shtm?products=fish" >.
• Utiliser
  rel="nofollow"
  des attributs sur les ancres pointant vers des pages de résultats filtrés
  peut être bénéfique, cependant gardez à l’esprit que chaque ancre pointant vers une URL spécifique doit avoir l’attribut rel="nofollow" pour qu’il soit efficace.

Assurez-vous que les URLs de navigation à facettes sont optimales pour le web

Si vous avez besoin que vos URLs de navigation à facettes soient potentiellement crawlées et indexées, assurez-vous de suivre ces meilleures pratiques pour minimiser les effets négatifs du crawl du grand nombre d’URLs potentielles sur votre site :

1. Utilisez le séparateur de paramètres d’URL standard de l’industrie ‘&‘. Des caractères comme la virgule (“,”), le point-virgule (“;”) et les crochets (“(” et “)”) sont difficiles à détecter pour les crawlers en tant que séparateurs de paramètres (car le plus souvent, ce ne sont pas des séparateurs).,Si vous encodez des filtres dans le chemin de l’URL, comme;/products/[ fish
   ]green
2. tiny
   , assurez-vous que l'ordre logique des filtres reste toujours le même et qu'aucun filtre en double ne peut exister.Renvoyez un HTTP/code d'état lorsqu'une combinaison de filtres ne renvoie aucun résultat./S'il n'y a pas de poissons verts dans l'inventaire du site, les utilisateurs ainsi que les crawlers devraient recevoir une erreur "non trouvé" avec le code d'état HTTP approprié (). Cela devrait également être le cas si l’URL contient des filtres en double ou des combinaisons de filtres absurdes, et des URLs de pagination inexistantes. De même, si une combinaison de filtres n’a aucun résultat, ne redirigez pas vers une page d’erreur “non trouvé” commune. Servez plutôt une erreur “non trouvé” avec le
3. code d’état HTTP sous l’URL où elle a été rencontrée. 404 Si
   vous avez une application monopage404cela pourrait ne pas être possible. Suivez les meilleures pratiques pour les applications monopage. 404
   Gestion du crawl des URLs de navigation à facettes | Alien Road