Lista de rastreadores de casos especiales de Google

Los rastreadores de casos especiales son utilizados por productos específicos de Google en los que existe un acuerdo entre el sitio rastreado y el producto sobre el proceso de rastreo. Por ejemplo, AdsBot ignora el agente de usuario global de robots.txt (*) con el permiso del editor de anuncios. Las
propiedades técnicas
generales de los rastreadores de Google también se aplican a los rastreadores de casos especiales.

Los rastreadores de casos especiales pueden ignorar las reglas de robots.txt y, por lo tanto, operan desde un rango de IP diferente al de los rastreadores comunes. Los rangos de IP se publican en el objeto
special-crawlers.json . La máscara DNS inversa de los rastreadores de casos especiales coincide con
rate-limited-proxy-***-***-***-***.google.com.

La siguiente lista muestra los rastreadores de casos especiales, sus cadenas de agentes de usuario tal como aparecen en las solicitudes HTTP, sus tokens de agentes de usuario para la línea User-agent: en robots.txt y los productos afectados por las preferencias de rastreo del rastreador. La lista no es exhaustiva, solo cubre los solicitantes que tienen más probabilidades de aparecer en los archivos de registro y sobre los cuales hemos recibido preguntas.

APIs-Google

Agente de usuario en solicitudes HTTP
robots.txt	Token de agente de usuario en robots.txt APIs-Google Se ignora el agente de usuario global (*). Grupo de robots.txt de ejemplo
Productos afectados	Las preferencias de rastreo dirigidas al agente de usuario APIs-Google afectan la entrega de mensajes de notificación push por parte de Google APIs.

AdsBot Mobile Web

Agente de usuario en solicitudes HTTP
robots.txt	Token de agente de usuario en robots.txt AdsBot-Google-Mobile Se ignora el agente de usuario global (*). Grupo de robots.txt de ejemplo
Productos afectados	Las preferencias de rastreo dirigidas al agente de usuario AdsBot-Google-Mobile afectan la capacidad de Google Ads para comprobar la calidad de los anuncios de las páginas web.

.

AdsBot
Agente de usuario en solicitudes HTTP	robots.txt Token de agente de usuario en robots.txt AdsBot-Google*Se ignora el agente de usuario global ( ).
Grupo de robots.txt de ejemplo	Productos afectados Las preferencias de rastreo dirigidas al agente de usuario AdsBot-Google afectan la capacidad de Google Ads para comprobar.

la calidad de los anuncios de las páginas web

.	AdSense Agente de usuario en solicitudes HTTP
Agente de escritorio	Agente móvil robots.txt Token de agente de usuario en robots.txt*Mediapartners-Google Se ignora el agente de usuario global (
).	Grupo de robots.txt de ejemplo Productos afectados Las preferencias de rastreo dirigidas al agente de usuario

Mediapartners-Google

afectan a Google AdSense. El rastreador de AdSense visita los sitios participantes para proporcionarles anuncios relevantes.
Google-Safety	Agente de usuario en solicitudes HTTP
robots.txt	El agente de usuario de Google-Safety ignora las reglas de robots.txt.