Optimisez votre exploration et votre indexation

Lundi 10 août 2009

De nombreuses questions sur l’architecture du site Web, l’exploration et l’indexation, et même les problèmes de classement peuvent être résumées en une seule question centrale :
Est-il facile pour les moteurs de recherche d’explorer votre site ?
Nous avons abordé ce sujet lors d’un certain nombre d’événements récents, et vous trouverez ci-dessous notre présentation et quelques points clés sur ce sujet.

Internet est un vasteendroit; du nouveau contenu est créé en permanence. Google dispose d’un nombre limité de ressources. Face à la quantité quasi infinie de contenu disponible en ligne, Googlebot n’est donc capable de trouver et d’explorer qu’un pourcentage de ce contenu. Ensuite, parmi le contenu que nous avons exploré, nous ne pouvons en indexer qu’une partie.

Les URL sont comme les ponts entre votre site Web et le robot d’exploration d’un moteur de recherche : les robots doivent être capables de trouver et de traverser ces ponts (c’est-à-dire de trouver et d’explorer vos URL) pour accéder au contenu de votre site. Si vos URL sont compliquées ou redondantes, les robots passeront du temps à suivre et à retracer leurs pas ; si vos URL sont organisées et mènent directement à un contenu distinct, les robots peuvent consacrer leur temps à accéder à votre contenu plutôt qu’à explorer des pages vides ou à explorer le même contenu encore et encore via différentes URL.

Dans les diapositives ci-dessus, vous pouvez voir quelques exemples de ce qu’il ne faut pas faire — des exemples concrets (bien que les noms aient été modifiés pour protéger les innocents) de hacks et d’encodages d’URL maison, de paramètres se faisant passer pour une partie du chemin d’URL, d’espaces d’exploration infinis, et plus encore. Vous trouverez également quelques recommandations pour redresser ce labyrinthe d’URL et aider les robots à trouver plus rapidement une plus grande partie de votre contenu, notamment :

• Supprimez les détails spécifiques à l’utilisateur des URL. Les paramètres d’URL qui ne modifient pas le contenu de la page (comme les ID de session ou l’ordre de tri) peuvent être supprimés de l’URL et placés dans un cookie. En plaçant ces informations dans un cookie et en
  301 redirigeant
  vers une URL “propre”, vous conservez les informations et réduisez le nombre d’URL pointant vers ce même contenu.
• Maîtrisez les espaces infinis. Avez-vous un calendrier qui renvoie à un nombre infini de dates passées ou futures (chacune avec sa propre URL unique) ? Avez-vous des données paginées qui renvoient un
  code d’état de 200
  lorsque vous ajoutez &page=3563 à l’URL, même s’il n’y a pas autant de pages de données ? Si c’est le cas, vous avez un
  espace d’exploration infini sur votre site Web, et les robots pourraient gaspiller leur bande passante (et la vôtre !) à essayer de tout explorer.
  Envisagez
  ces conseils
• pour maîtriser les espaces infinis. Désactivez les actions que Googlebot ne peut pas effectuer.
  En utilisant votrefichier robots.txt
• , vous pouvez désactiver l’exploration des pages de connexion, des formulaires de contact, des paniers d’achat et d’autres pages dont la seule fonctionnalité est quelque chose qu’un robot ne peut pas effectuer. (Les robots sont notoirement économes et timides, ils ne font donc généralement pas “Ajouter au panier” ou “Contactez-nous”.) Cela permet aux robots de consacrer plus de temps à l’exploration du contenu avec lequel ils peuvent réellement faire quelque chose. Un homme, une voix. Une URL, un ensemble de contenu.
  Dans un monde idéal, il existe une correspondance biunivoque entre l’URL et le contenu : chaque URL mène à un élément de contenu unique, et chaque élément de contenu ne peut être consulté que via une seule URL. Plus vous vous rapprochez de cet idéal, plus votre site sera rationalisé pour l’exploration et l’indexation. Si votre CMS ou la configuration actuelle de votre site rend cela difficile, vous pouvez utiliser l'élément rel=”canonical”
  pour indiquer l’URL préférée pour un élément de contenu particulier.

Si vous avez d’autres questions sur l’optimisation de votre site pour l’exploration et l’indexation, consultez certains de nos écrits précédents sur le sujet, ou passez par notre
Forum d’aide.

Publié par
Susan Moskwa, Analyste des tendances Webmaster