Googlebot

Googlebot est le nom générique pour deux types de
robots d’exploration Web utilisés par la recherche Google :

• Googlebot Smartphone:
  un robot d’exploration mobile qui simule un utilisateur sur un appareil mobile.
• Googlebot Desktop:
  un robot d’exploration de bureau qui simule un utilisateur sur un ordinateur de bureau.

Vous pouvez identifier le sous-type de Googlebot en regardant le
HTTP user-agent en-tête de requête
dans la requête. Cependant, les deux types de robots obéissent au même jeton de produit (jeton d’agent utilisateur) dans robots.txt, vous ne pouvez donc pas cibler sélectivement Googlebot Smartphone ou Googlebot Desktop en utilisant robots.txt.

Pour la plupart des sites, la recherche Google indexe principalement
la version mobile
du contenu. Par conséquent, la majorité des requêtes d’exploration de Googlebot seront effectuées à l’aide du robot d’exploration mobile, et une minorité à l’aide du robot d’exploration de bureau.

Comment Googlebot accède à votre site

Pour la plupart des sites, Googlebot ne devrait pas accéder à votre site plus d’une fois toutes les quelques secondes en moyenne. Cependant, en raison de retards, il est possible que le taux semble légèrement plus élevé sur de courtes périodes. Si votre site a du mal à suivre les requêtes d’exploration de Google, vous pouvez réduire le taux d’exploration.

Lors de l’exploration pour la recherche Google, Googlebot explore les 2 premiers Mo d’un
type de fichier pris en chargeet les 64 premiers Mo d’un fichier PDF. Du point de vue du rendu, chaque ressource référencée dans le HTML (comme CSS et JavaScript) est récupérée séparément, et chaque récupération de ressource est soumise à la même limite de taille de fichier que celle appliquée aux autres fichiers (sauf pour les fichiers PDF).
Une fois la limite atteinte, Googlebot arrête la récupération et n’envoie que la partie du fichier déjà téléchargée pour examen d’indexation. La limite de taille de fichier s’applique aux données non compressées. D’autres robots d’exploration Google, par exemple Googlebot Video et Googlebot Image, peuvent avoir
des limites différentes.

Lors de l’exploration à partir d’adresses IP aux États-Unis, le fuseau horaire de Googlebot est
l’heure du Pacifique.

D’autres
propriétés techniques de Googlebot
sont décrites dans la présentation des robots d’exploration de Google.

Bloquer Googlebot pour qu’il ne visite pas votre site

Googlebot découvre de nouvelles URL à explorer principalement à partir de liens intégrés dans des pages précédemment explorées. Il est presque impossible de garder un site secret en ne publiant pas de liens vers celui-ci. Par exemple, dès que quelqu’un clique sur un lien de votre site “secret” vers un autre site, l’URL de votre site “secret” peut apparaître dans la balise de référence et peut être stockée et publiée par l’autre site dans son journal de référence.

Si vous souhaitez empêcher Googlebot d’explorer le contenu de votre site, vous avez
un certain nombre d’options. N’oubliez pas qu’il existe une différence entre l’exploration et l’indexation; bloquer Googlebot pour qu’il n’explore pas une page n’empêche pas l’URL de la page d’apparaître dans les résultats de recherche :

• Empêcher Googlebot d’explorer une page ? Utilisez un fichier robots.txt
  Vous ne voulez pas que Google indexe une page ?.
• Utilisez noindex
  Empêcher une page d'être accessible à la fois aux robots d'exploration et aux utilisateurs ?.
• Utilisez une autre méthode, telle que la protection par mot de passe
  Bloquer Googlebot affecte la recherche Google (y compris Discover et toutes les fonctionnalités de la recherche Google), ainsi que d’autres produits tels que Google Images, Google Video et Google News..

Vérifier Googlebot

Avant de décider de bloquer Googlebot, sachez que l’en-tête de requête HTTP

user-agent utilisé par Googlebot est souvent usurpé par d'autres robots d'exploration. Il est important de vérifier qu'une requête problématique provient réellement de Google. Le meilleur moyen de vérifier qu'une requête provient réellement de Googlebot est de utiliser une recherche DNS inversée
sur l’IP source de la requête, ou de faire correspondre l’IP source avec les
plages IP de Googlebot
Googlebot | Alien Road.