Liste des robots d'indexation pour cas particuliers de Google

Les robots d’indexation pour cas particuliers sont utilisés par des produits Google spécifiques pour lesquels il existe un accord entre le site indexé et le produit sur le processus d’indexation. Par exemple, AdsBot ignore l’agent utilisateur global robots.txt (*) avec l’autorisation de l’éditeur de l’annonce. Les
propriétés techniques
générales des robots d’indexation de Google s’appliquent également aux robots d’indexation pour cas particuliers.

Les robots d’indexation pour cas particuliers peuvent ignorer les règles robots.txt et fonctionnent donc à partir d’une plage IP différente de celle des robots d’indexation courants. Les plages IP sont publiées dans l’objet
special-crawlers.json . Le masque DNS inverse des robots d’indexation pour cas particuliers correspond à
rate-limited-proxy-***-***-***-***.google.com.

La liste suivante présente les robots d’indexation pour cas particuliers, leurs chaînes d’agent utilisateur telles qu’elles apparaissent dans les requêtes HTTP, leurs jetons d’agent utilisateur pour la ligne User-agent: dans robots.txt, et les produits affectés par les préférences d’indexation pour le robot. La liste n’est pas exhaustive, elle couvre uniquement les demandeurs les plus susceptibles d’apparaître dans les fichiers journaux et pour lesquels nous avons reçu des questions.

APIs-Google

Agent utilisateur dans les requêtes HTTP
robots.txt	Jeton d’agent utilisateur dans robots.txt APIs-Google L’agent utilisateur global (*) est ignoré. Exemple de groupe robots.txt
Produits concernés	Les préférences d’indexation adressées à l’agent utilisateur APIs-Google affectent l’envoi de messages de notification push par Google APIs.

AdsBot Mobile Web

Agent utilisateur dans les requêtes HTTP
robots.txt	Jeton d’agent utilisateur dans robots.txt AdsBot-Google-Mobile L’agent utilisateur global (*) est ignoré. Exemple de groupe robots.txt
Produits concernés	Les préférences d’indexation adressées à l’agent utilisateur AdsBot-Google-Mobile affectent la capacité de Google Ads à vérifier la qualité des annonces des pages Web.

.

AdsBot
Agent utilisateur dans les requêtes HTTP	robots.txt Jeton d'agent utilisateur dans robots.txt AdsBot-Google*L’agent utilisateur global ( ) est ignoré.
Exemple de groupe robots.txt	Produits concernés Les préférences d'indexation adressées à l'agent utilisateur AdsBot-Google affectent la capacité de Google Ads à vérifier.

la qualité des annonces des pages Web

.	AdSense Agent utilisateur dans les requêtes HTTP
Agent de bureau	Agent mobile robots.txt Jeton d’agent utilisateur dans robots.txt*Mediapartners-Google L’agent utilisateur global (
) est ignoré.	Exemple de groupe robots.txt Produits concernés Les préférences d’indexation adressées à l’agent utilisateur

Mediapartners-Google

affectent Google AdSense. Le robot d’indexation AdSense visite les sites participants afin de leur diffuser des annonces pertinentes.
Google-Safety	Agent utilisateur dans les requêtes HTTP
robots.txt	L’agent utilisateur Google-Safety ignore les règles robots.txt.