Lista de los rastreadores comunes de Google

Los rastreadores comunes de Google se utilizan para encontrar información para crear los índices de búsqueda de Google,
realizar otros rastreos específicos de productos y para análisis. Siempre obedecen las
reglas de robots.txt
al rastrear automáticamente. Las
propiedades técnicas

generales de los rastreadores de Google también se aplican a los rastreadores comunes.
Los rastreadores comunes generalmente rastrean desde los rangos de IP publicados en el objeto common-crawlers.json y la máscara DNS inversa de su nombre de host coincide con crawl-***-***-***-***.googlebot.com
o.

geo-crawl-***-***-***-***.geo.googlebot.com . La siguiente lista muestra los rastreadores comunes, sus cadenas de agente de usuario tal como aparecen en las solicitudes HTTP, sus tokens de agente de usuario para la línea User-agent:

Aprenda a verificar si un visitante es un rastreador de Google

Googlebot User-Agent	en solicitudes HTTP Googlebot Smartphone Googlebot Desktop Rara vez: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)	robots.txt Token de User-agent en robots.txt Googlebot
Ejemplo de grupo en robots.txt	Productos afectados Las preferencias de rastreo dirigidas al Googlebot

agente de usuario afectan a la Búsqueda de Google (incluidos Discover y todas las funciones de la Búsqueda de Google), así como a otros productos como Google Imágenes, Google Video, Google News y Discover.

Googlebot Image
User-Agent en solicitudes HTTP	robots.txt Token de User-agent en robots.txt Googlebot-Image Googlebot
Ejemplo de grupo en robots.txt	Productos afectados Las preferencias de rastreo dirigidas al Googlebot-Image

agente de usuario afectan a Google Imágenes, Discover, Google Video y todas las funciones de la Búsqueda de Google donde se presentan imágenes, logotipos y favicons.

Googlebot Video
User-Agent en solicitudes HTTP	robots.txt Token de User-agent en robots.txt Googlebot-Video Googlebot
Ejemplo de grupo en robots.txt	Productos afectados Las preferencias de rastreo dirigidas al Googlebot-Video

agente de usuario afectan a las funciones de la Búsqueda de Google relacionadas con videos y otros productos que dependen de videos.

Googlebot News	User-Agent en solicitudes HTTP Googlebot-news no tiene una cadena de agente de usuario de solicitud HTTP separada. El rastreo se realiza con.
varias cadenas de agente de usuario de Googlebot	robots.txt Token de User-agent en robots.txt Googlebot-News Googlebot
Ejemplo de grupo en robots.txt	Productos afectados Las preferencias de rastreo dirigidas al Googlebot-News agente de usuario afectan al producto Google News, incluido news.google.com

y la aplicación Google News.

Google StoreBot	User-Agent en solicitudes HTTP Agente de escritorio
Agente móvil	robots.txt Token de User-agent en robots.txt Storebot-Google
Productos afectados	Preferencias de rastreo dirigidas al Storebot-Google agente de usuario afectan a todas las superficies de Google Shopping (por ejemplo, la pestaña Shopping en la Búsqueda de Google y Google Shopping).

Google-InspectionTool

User-Agent en solicitudes HTTP	Agente de escritorio Agente móvil
robots.txt	Token de User-agent en robots.txt Google-InspectionTool Googlebot Grupo de ejemplo en robots.txt
Productos afectados	Preferencias de rastreo dirigidas al Google-InspectionTool agente de usuario afectan a herramientas de prueba de búsqueda como la Rich Result Test y Inspección de URL en Search Console. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.

GoogleOther

User-Agent en solicitudes HTTP
robots.txt	Token de User-agent en robots.txt GoogleOther Grupo de ejemplo en robots.txt
Productos afectados	Preferencias de rastreo dirigidas al GoogleOther agente de usuario no afectan a ningún producto específico. GoogleOther es el rastreador genérico que pueden utilizar varios equipos de producto para obtener contenido de sitios accesible públicamente. Por ejemplo, puede utilizarse para rastreos únicos para investigación y desarrollo internos.

GoogleOther-Image

User-Agent en solicitudes HTTP
robots.txt	Token de User-agent en robots.txt GoogleOther-Image GoogleOther Grupo de ejemplo en robots.txt
Productos afectados	Preferencias de rastreo dirigidas al GoogleOther-Image agente de usuario no afectan a ningún producto específico, de forma similar a GoogleOther. GoogleOther-Image es la versión de GoogleOther optimizada para obtener URL de imágenes accesibles públicamente.

GoogleOther-Video

User-Agent en solicitudes HTTP
robots.txt	Token de User-agent en robots.txt GoogleOther-Video GoogleOther Grupo de ejemplo en robots.txt
Productos afectados	Preferencias de rastreo dirigidas al GoogleOther-Video agente de usuario no afectan a ningún producto específico, de forma similar a GoogleOther. GoogleOther-Video es la versión de GoogleOther optimizada para obtener URL de videos accesibles públicamente.

Google-CloudVertexBot

Subcadena de User-Agent en solicitudes HTTP
robots.txt	Token de User-agent en robots.txt Google-CloudVertexBot Googlebot Grupo de ejemplo en robots.txt
Productos afectados	Preferencias de rastreo dirigidas al Google-CloudVertexBot agente de usuario afectan a los rastreos solicitados por los propietarios de sitios para crear Vertex AI Agents. No tiene ningún efecto en la Búsqueda de Google ni en otros productos.

Google-Extended

User-Agent en solicitudes HTTP	Google-Extended no tiene una cadena de agente de usuario de solicitud HTTP separada. El rastreo se realiza con las cadenas de agente de usuario de Google existentes; el token de user-agent en robots.txt se utiliza con fines de control.
robots.txt	Token de User-agent en robots.txt Google-Extended Grupo de ejemplo en robots.txt
Productos afectados	Google-Extended es un token de producto independiente que los editores web pueden utilizar para gestionar si el contenido que Google rastrea de sus sitios puede utilizarse para entrenar futuras generaciones de modelos Gemini que impulsan Gemini Apps y Vertex AI API for Gemini y para la fundamentación (proporcionar contenido del índice de Google Search al modelo en el momento de la consulta para mejorar la veracidad y la relevancia) en Gemini Apps y Fundamentación con Google Search en Vertex AI. Google-Extended no afecta la inclusión de un sitio en Google Search ni se utiliza como señal de clasificación en Google Search.

Una nota sobre Chrome/W.X.Y.Z en agentes de usuario

La cadena Chrome/W.X.Y.Z en las cadenas de agente de usuario de la lista es un marcador de posición que representa la versión del navegador Chrome utilizada por ese agente de usuario: por ejemplo,
41.0.2272.96. Este número de versión aumenta con el tiempo para
coincidir con la última versión de lanzamiento de Chromium utilizada por Googlebot.

Si está buscando en sus registros o filtrando su servidor para un agente de usuario con este patrón, utilice comodines para el número de versión en lugar de especificar un número de versión exacto.