Vous pouvez vérifier si une requête adressée à votre serveur provient réellement
de Google. La vérification est possible pour les robots d’indexation tels que Googlebot, ainsi que pour d’autres requêtes. Cela est utile si vous craignez que des spammeurs ou d’autres perturbateurs accèdent à votre site en prétendant provenir de Google.
Les robots d’indexation et les récupérateurs de Google se divisent en trois catégories :
| Type | Description | Masque DNS inversé | Plages d’adresses IP |
|---|---|---|---|
| Robots d’indexation courants | Les robots d’indexation courants utilisés pour les produits Google (tels que Googlebot). Ils respectent toujours les règles robots.txt pour les explorations automatiques. | crawl-***-***-***-***.googlebot.com ougeo-crawl-***-***-***-***.geo.googlebot.com | common-crawlers.json |
| Robots d’indexation de cas particuliers | Robots d’indexation ou récupérateurs qui exécutent des fonctions spécifiques pour les produits Google (tels que AdsBot) lorsqu’il existe un accord entre le site exploré et le produit concernant l’accès, ou pour l’exploration ou la récupération spécifique liée aux abus. Ces robots d’indexation ou récupérateurs peuvent ou non respecter les règles robots.txt. | rate-limited-proxy-***-***-***-***.google.com | special-crawlers.json |
| Récupérateurs déclenchés par l’utilisateur | Outils et fonctions de produits où l’utilisateur final déclenche une récupération. Par exemple, Google Site Verifier agit à la demande d’un utilisateur. Étant donné que la récupération a été demandée par un utilisateur, ces récupérateurs ignorent les règles robots.txt. Les récupérateurs contrôlés par Google proviennent d’adresses IP situées dans l’objet user-triggered-fetchers-google.json et se résolvent en un nom d’hôtegoogle.com . Les adresses IP de l’objet user-triggered-fetchers.json se résolvent en noms d’hôte gae.googleusercontent.com . Ces adresses IP sont utilisées, par exemple, si un site hébergé sur Google Cloud (GCP) possède une fonctionnalité qui nécessite de récupérer des flux RSS externes à la demande de l’utilisateur de ce site. | ***-***-***-***.gae.googleusercontent.com ougoogle-proxy-***-***-***-***.google.com | user-triggered-fetchers.json, user-triggered-fetchers-google.json, et |
user-triggered-agents.json
- Il existe deux méthodes pour vérifier les requêtes provenant de Google :Manuellement
- : pour les recherches ponctuelles, utilisez les outils en ligne de commande. Cette méthode suffit pour la plupart des cas d’utilisation.Automatiquement
: pour les recherches à grande échelle, utilisez une solution automatisée pour faire correspondre l’adresse IP d’un robot d’indexation avec la liste des adresses IP publiées de Google.
- Utiliser les outils en ligne de commande
Exécutez une recherche DNS inversée sur l'adresse IP d'accès provenant de vos journaux, à l'aide de la commandehost - .
Vérifiez que le nom de domaine est soit,googlebot.comgoogle.com
, soit. - googleusercontent.com
. Exécutez une recherche DNS directe sur le nom de domaine récupéré à l'étape 1 à l'aide de la commande
host - sur le nom de domaine récupéré.
Vérifiez qu’il s’agit de la même adresse IP d’accès d’origine que celle de vos journaux.
Exemple 1 :
Exemple 2 :
Exemple 3 :
Utiliser des solutions automatiques
- Vous pouvez également identifier Googlebot par son adresse IP en faisant correspondre l’adresse IP du robot aux listes de plages d’adresses IP des robots d’indexation et des récupérateurs Google :
- Robots d’indexation courants tels que Googlebot
- Robots d’indexation spéciaux tels que AdsBot
- Récupérateurs déclenchés par l’utilisateur (utilisateurs)
- Récupérateurs déclenchés par l’utilisateur (Google)
Agents déclenchés par l’utilisateur
Pour les autres adresses IP Google à partir desquelles votre site peut être consulté (par exemple,Apps Scripts
), faites correspondre l’adresse IP d’accès avec laliste générale des adresses IP Google
. Notez que les adresses IP dans les fichiers JSON sont représentées au.
Comment nous l'appliquons
Verification by reverse DNS is the only reliable way to separate real Googlebot from crawlers that spoof the user agent. We build this into the client’s log pipeline rather than checking manually.
Services associés