Quels agents utilisateurs Google utilise et comment confirmer qu’une requête prétendant être Googlebot l’est réellement.
Google exploite plusieurs robots d’indexation. Les principaux sont Googlebot Smartphone (le robot principal pour l’indexation), Googlebot Desktop, Googlebot Image, Googlebot Video, ainsi que des agents séparés pour AdsBot et les récupérations déclenchées par l’utilisateur.
La vérification est essentielle Les chaînes d'agents utilisateurs sont facilement falsifiées. Les robots aspirateurs prétendent régulièrement être Googlebot pour contourner les limites de fréquence. Vérifiez à l'aide d'une recherche DNS inversée sur l'adresse IP effectuant la requête, qui doit aboutir à googlebot.com ougoogle.com
, puis effectuez une recherche directe vers la même adresse IP. Google publie également ses plages d’adresses IP au format JSON.
Fréquence d’exploration
Google ajuste automatiquement la fréquence d’exploration en fonction de la réponse du serveur. Des erreurs 5xx persistantes ou des réponses lentes l’amènent à ralentir. Il n’y a plus de paramètre manuel de fréquence d’exploration dans Search Console ; si vous devez la ralentir d’urgence, renvoyez une erreur 503 ou 429, mais brièvement seulement, car des réponses 5xx prolongées entraînent une désindexation. Alien Road recommande :
Comment nous l'appliquons
Verifying crawler identity matters when a client’s security team starts blocking traffic. We have seen legitimate Googlebot requests blocked by a firewall rule, which removes a site from the index within weeks.
Services associés