Liste des robots d'exploration courants de Google

Les robots d’exploration courants de Google sont utilisés pour trouver des informations afin de construire les index de recherche de Google,
effectuer d’autres explorations spécifiques aux produits et pour l’analyse. Ils obéissent toujours aux
règles robots.txt
lors de l’exploration automatique. Les
propriétés techniques

générales des robots d’exploration de Google s’appliquent également aux robots d’exploration courants.
Les robots d’exploration courants explorent généralement à partir des plages IP publiées dans l’objet common-crawlers.json et le masque DNS inverse de leur nom d'hôte correspond à crawl-***-***-***-***.googlebot.com
ou.

geo-crawl-***-***-***-***.geo.googlebot.com . La liste suivante présente les robots d'exploration courants, leurs chaînes d'agent utilisateur telles qu'elles apparaissent dans les requêtes HTTP, leurs jetons d'agent utilisateur pour la ligne User-agent:

Apprenez à vérifier si un visiteur est un robot d’exploration Google

Googlebot User-Agent	dans les requêtes HTTP Googlebot Smartphone Googlebot Desktop Rarement : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)	robots.txt Jeton User-agent dans robots.txt Googlebot
Exemple de groupe robots.txt	Produits affectés Les préférences d'exploration adressées à l'agent utilisateur Googlebot

affectent la recherche Google (y compris Discover et toutes les fonctionnalités de recherche Google), ainsi que d’autres produits tels que Google Images, Google Video, Google News et Discover.

Googlebot Image
User-Agent dans les requêtes HTTP	robots.txt Jeton User-agent dans robots.txt Googlebot-Image Googlebot
Exemple de groupe robots.txt	Produits affectés Les préférences d'exploration adressées à l'agent utilisateur Googlebot-Image

affectent Google Images, Discover, Google Video et toutes les fonctionnalités de la recherche Google où des images, des logos et des favicons sont présentés.

Googlebot Video
User-Agent dans les requêtes HTTP	robots.txt Jeton User-agent dans robots.txt Googlebot-Video Googlebot
Exemple de groupe robots.txt	Produits affectés Les préférences d'exploration adressées à l'agent utilisateur Googlebot-Video

affectent les fonctionnalités de recherche Google liées à la vidéo et d’autres produits dépendants des vidéos.

Googlebot News	User-Agent dans les requêtes HTTP Googlebot-news n’a pas de chaîne d’agent utilisateur de requête HTTP distincte. L’exploration est effectuée avec.
diverses chaînes d’agent utilisateur Googlebot	robots.txt Jeton User-agent dans robots.txt Googlebot-News Googlebot
Exemple de groupe robots.txt	Produits affectés Les préférences d'exploration adressées à l'agent utilisateur Googlebot-News affectent le produit Google News, y compris news.google.com

et l’application Google News.

Google StoreBot	User-Agent dans les requêtes HTTP Agent de bureau
Agent mobile	robots.txt Jeton User-agent dans robots.txt Storebot-Google
Produits concernés	Préférences d’exploration adressées au Storebot-Google agent utilisateur affectent toutes les surfaces de Google Shopping (par exemple, l’onglet Shopping dans la recherche Google et Google Shopping).

Google-InspectionTool

User-Agent dans les requêtes HTTP	Agent de bureau Agent mobile
robots.txt	Jeton User-agent dans robots.txt Google-InspectionTool Googlebot Exemple de groupe robots.txt
Produits concernés	Préférences d’exploration adressées au Google-InspectionTool agent utilisateur affectent les outils de test de recherche tels que le Rich Result Test et Inspection d’URL dans la Search Console. Cela n’a aucun effet sur la recherche Google ou d’autres produits.

GoogleOther

User-Agent dans les requêtes HTTP
robots.txt	Jeton User-agent dans robots.txt GoogleOther Exemple de groupe robots.txt
Produits concernés	Préférences d’exploration adressées au GoogleOther agent utilisateur n’affectent aucun produit spécifique. GoogleOther est le robot d’exploration générique qui peut être utilisé par diverses équipes produit pour récupérer du contenu accessible publiquement sur des sites. Par exemple, il peut être utilisé pour des explorations ponctuelles à des fins de recherche et développement internes.

GoogleOther-Image

User-Agent dans les requêtes HTTP
robots.txt	Jeton User-agent dans robots.txt GoogleOther-Image GoogleOther Exemple de groupe robots.txt
Produits concernés	Préférences d’exploration adressées au GoogleOther-Image agent utilisateur n’affectent aucun produit spécifique, tout comme GoogleOther. GoogleOther-Image est la version de GoogleOther optimisée pour récupérer des URL d’images accessibles publiquement.

GoogleOther-Video

User-Agent dans les requêtes HTTP
robots.txt	Jeton User-agent dans robots.txt GoogleOther-Video GoogleOther Exemple de groupe robots.txt
Produits concernés	Préférences d’exploration adressées au GoogleOther-Video agent utilisateur n’affectent aucun produit spécifique, tout comme GoogleOther. GoogleOther-Video est la version de GoogleOther optimisée pour récupérer des URL de vidéos accessibles publiquement.

Google-CloudVertexBot

Sous-chaîne User-Agent dans les requêtes HTTP
robots.txt	Jeton User-agent dans robots.txt Google-CloudVertexBot Googlebot Exemple de groupe robots.txt
Produits concernés	Préférences d’exploration adressées au Google-CloudVertexBot agent utilisateur affectent les explorations demandées par les propriétaires de sites pour créer des Vertex AI Agents. Cela n’a aucun effet sur la recherche Google ou d’autres produits.

Google-Extended

User-Agent dans les requêtes HTTP	Google-Extended ne possède pas de chaîne d’agent utilisateur de requête HTTP distincte. L’exploration est effectuée avec les chaînes d’agent utilisateur Google existantes ; le jeton user-agent dans robots.txt est utilisé à des fins de contrôle.
robots.txt	Jeton User-agent dans robots.txt Google-Extended Exemple de groupe robots.txt
Produits concernés	Google-Extended est un jeton de produit autonome que les éditeurs Web peuvent utiliser pour gérer si le contenu que Google explore sur leurs sites peut être utilisé pour entraîner les futures générations de modèles Gemini qui alimentent Gemini Apps et Vertex AI API for Gemini et pour la mise à la terre (fournir du contenu de l’index Google Search au modèle au moment de la requête pour améliorer la véracité et la pertinence) dans Gemini Apps et Mise à la terre avec Google Search sur Vertex AI. Google-Extended n’affecte pas l’inclusion d’un site dans Google Search et n’est pas utilisé comme signal de classement dans Google Search.

Une note sur Chrome/W.X.Y.Z dans les agents utilisateurs

La chaîne Chrome/W.X.Y.Z dans les chaînes d’agent utilisateur de la liste est un espace réservé qui représente la version du navigateur Chrome utilisée par cet agent utilisateur : par exemple,
41.0.2272.96. Ce numéro de version augmente avec le temps pour
correspondre à la dernière version de Chromium utilisée par Googlebot.

Si vous recherchez dans vos journaux ou filtrez votre serveur pour un agent utilisateur avec ce modèle, utilisez des caractères génériques pour le numéro de version plutôt que de spécifier un numéro de version exact.