Le nombre de pages explorées par Googlebot

Vendredi 10 novembre 2006

Le Les rapports d’activité de Googlebot dans les Webmaster Tools vous indiquent le nombre de pages de votre site que Googlebot a explorées au cours des 90 derniers jours. Nous avons remarqué que certains d’entre vous se demandent pourquoi ce chiffre peut être supérieur au nombre total de pages sur vos sites.
Googlebot explore les pages de votre site en fonction de plusieurs éléments, notamment :

les pages qu’il connaît déjà

• les liens provenant d’autres pages Web (sur votre site et sur d’autres sites)
• les pages répertoriées dans votre fichier Sitemap
• Plus précisément, Googlebot n’accède pas à des pages, il accède à des URL. Et la même page est souvent accessible via plusieurs URL. Prenons la page d’accueil d’un site accessible à partir des quatre URL suivantes :

https://www.example.com/

• https://www.example.com/index.html
• https://example.com
• https://example.com/index.html
• Bien que toutes les URL mènent à la même page, ces quatre URL peuvent être utilisées dans des liens vers la page. Lorsque Googlebot suit ces liens, un décompte de quatre est ajouté au rapport d’activité.

De nombreux autres scénarios peuvent entraîner l’utilisation de plusieurs URL pour une même page. Par exemple, une page peut comporter plusieurs ancres nommées, telles que :

https://www.example.com/mypage.html#heading1

• https://www.example.com/mypage.html#heading2
• https://www.example.com/mypage.html#heading3
• Et les pages générées dynamiquement sont souvent accessibles via plusieurs URL, telles que :

https://www.example.com/furniture?type=chair&brand=123

• https://www.example.com/hotbuys?type=chair&brand=123
• Comme vous pouvez le voir, si l’on considère que chaque page de votre site peut comporter plusieurs URL qui y mènent, le nombre d’URL explorées par Googlebot peut être considérablement supérieur au nombre total de pages de votre site.

Bien entendu, vous (et nous) souhaitez qu’une seule version de l’URL soit renvoyée dans les résultats de recherche. Ne vous inquiétez pas, c’est exactement ce qui se produit. Nos algorithmes sélectionnent une version à inclure, et vous pouvez donner votre avis sur ce processus de sélection.

Rediriger vers la version privilégiée de l’URL

Vous pouvez le faire en utilisant

301 (permanente)
redirection . Dans le premier exemple qui montre quatre URL pointant vers la page d’accueil d’un site, vous souhaiterez peut-être rediriger index.html vers www.example.com/. Et vous souhaiterez peut-être rediriger example.com vers www.example.com afin que toutes les URL commençant par une version soient redirigées vers l’autre version. Notez que vous pouvez effectuer cette dernière redirection avec lafonctionnalité Domaine privilégié
dans les webmaster tools. (Si vous utilisez également une redirection, assurez-vous qu’elle correspond à celle que vous avez définie pour le domaine privilégié.) 301 Bloquer les versions non privilégiées d’une URL avec un fichier robots.txt

Pour les pages générées dynamiquement, vous souhaiterez peut-être bloquer la version non privilégiée en utilisant

pattern matching
dans votre fichier robots.txt. (Notez que tous les moteurs de recherche ne prennent pas en charge le pattern matching, veuillez donc consulter les directives de chaque robot de moteur de recherche qui vous intéresse.) Par exemple, dans le troisième exemple qui montre deux URL pointant vers une page sur les chaises disponibles de la marque 123, la section “hotbuys” tourne périodiquement et le contenu est toujours disponible à partir d’un emplacement principal et permanent. Dans ce cas, vous souhaiterez peut-être indexer la première version et bloquer la version
“hotbuys”. Pour ce faire, ajoutez ce qui suit à votre fichier robots.txt :Pour vous assurer que cette règle bloque et autorise effectivement ce que vous souhaitez, utilisez l’outil d’analyse robots.txt dans les Webmaster Tools. Ajoutez simplement cette règle à la section robots.txt de cette page, listez les URL que vous souhaitez vérifier dans la section “Test URLs” et cliquez sur le bouton Vérifier. Pour cet exemple, vous obtiendriez un résultat comme celui-ci :

Ne vous inquiétez pas des liens vers des ancres, car bien que Googlebot explore chaque lien, nos algorithmes indexeront l’URL sans l’ancre.

Et si vous ne fournissez pas d’informations telles que celles décrites ci-dessus, nos algorithmes font un excellent travail pour choisir une version à afficher dans les résultats de recherche.

Le nombre de pages explorées par Googlebot | Alien Road