Crawling infrastructure

Lista de fetchers activados por usuarios de Google

Los fetchers activados por usuarios son iniciados por los usuarios para realizar una función de recuperación dentro de un producto de Google. Por ejemplo,
Google Site Verifier
actúa a petición de un usuario, o un sitio alojado en Google Cloud (GCP) tiene una función que permite a los usuarios del sitio recuperar un feed RSS externo. Dado que la recuperación fue solicitada por un usuario, estos fetchers generalmente ignoran las reglas de robots.txt. Las
propiedades técnicas
generales de los rastreadores de Google también se aplican a los fetchers activados por usuarios.

Los rangos de IP que utilizan los fetchers activados por usuarios se publican en los objetos
user-triggered-fetchers.json,
user-triggered-fetchers-google.jsony user-triggered-agents.json
. La máscara de DNS inverso de los fetchers activados por usuarios, dependiendo de si el fetcher es propiedad de Google o del usuario, coincide con ***-***-***-***.gae.googleusercontent.com o
google-proxy-***-***-***-***.google.com respectivamente.

Lista de fetchers activados por usuarios de Google

La siguiente lista muestra los fetchers activados por usuarios, sus cadenas de agente de usuario tal como aparecen en las solicitudes HTTP y los productos con los que están asociados. La lista no es exhaustiva; solo cubre los solicitantes que tienen más probabilidades de aparecer en los archivos de registro y sobre los que hemos recibido preguntas.

Lista de fetchers activados por usuarios de Google — 2
User-Agent en solicitudes HTTP
Productos asociadosEl fetcher de Chrome Web Store solicita las URL que los desarrolladores proporcionan en los metadatos de sus extensiones y temas de Chrome.
User-Agent en solicitudes HTTP
Productos asociadosFeedfetcher se utiliza para rastrear feeds RSS o Atom para Google News y WebSub.
User-Agent en solicitudes HTTP
Agente móvil
Agente de escritorio
Agente anterior (compatible hasta agosto de 2026)Google-NotebookLM
Productos asociadosEl fetcher de Gemini Notebook solicita URL individuales que los usuarios de
Gemini Notebook
han proporcionado como fuentes para sus proyectos.
User-Agent en solicitudes HTTP
Agente móvil
Agente de escritorio
Productos asociadosGoogle-Agent es utilizado por agentes alojados en la infraestructura de Google para navegar por la web y realizar acciones a petición del usuario. Utiliza rangos de IP de user-triggered-agents.json.
Google Messages
User-Agent en solicitudes HTTPProductos asociados
Google Pinpoint
User-Agent en solicitudes HTTPProductos asociados El fetcher de Google-Pinpoint
solicita URL individuales que los usuarios de
Pinpoint
Google Publisher Center
User-Agent en solicitudes HTTPProductos asociados
Google Publisher Center recupera y procesa
feeds que los editores suministraron explícitamente
Google Read Aloud
User-Agent en solicitudes HTTP
Agente móvil
Agente de escritorioAgente anterior (obsoleto)
google-speakrProductos asociados
A petición del usuario, Google Read Aloud recupera y lee páginas web utilizando texto a voz (TTS).
User-Agent en solicitudes HTTP
Productos asociadosGoogle Site Verifier obtiene tokens de verificación de Search Console.
Alien Road

Cómo lo aplicamos

User-triggered fetchers act on a person’s request, not on a crawl schedule. We explain this distinction to clients who see the traffic in logs and assume they are being crawled aggressively.

Servicios relacionados

Compartir