Vérification de Googlebot : Comment effectuer des recherches DNS inversées pour la sécurité

La vérification du trafic Googlebot via une recherche DNS inversée est la méthode standard pour confirmer qu’une requête adressée à votre serveur provient réellement de Google. Les acteurs malveillants usurpent fréquemment l’agent utilisateur de Googlebot pour contourner les filtres de sécurité ou scraper du contenu propriétaire. En effectuant une vérification DNS, vous confirmez que l’adresse IP se résout en un nom de domaine au sein de l’espace de noms googlebot.com ou google.com, ce qui sépare efficacement le trafic de recherche authentique des robots automatisés non autorisés.

Pourquoi est-il essentiel de vérifier les adresses IP de Googlebot ?

Les serveurs Web modernes traitent un trafic automatisé constant. Bien qu’une partie de ce trafic provienne des moteurs de recherche, une grande partie consiste en des scrapers et des scanners de sécurité. Si vos paramètres de pare-feu sont trop stricts, vous pourriez bloquer par inadvertance Googlebot, ce qui entraînerait la suppression de pages dans les résultats de recherche. À l’inverse, si vous placez sur liste blanche chaque requête prétendant être un robot, vous exposez votre infrastructure à des vulnérabilités.

Les équipes de sécurité luttent souvent pour trouver l’équilibre entre accessibilité et protection. Lorsqu’une adresse IP prétend être Googlebot, elle fournit une chaîne d’agent utilisateur facilement falsifiable. Sans mécanisme de confirmation secondaire, votre serveur ne peut pas distinguer un robot d’indexation utile d’un script malveillant tentant de consommer votre bande passante ou de sonder les faiblesses du site.

Si vous autorisez tous les robots prétendant être Googlebot, vous ouvrez votre site aux attaques. La vérification agit comme un gardien critique pour votre serveur. En vérifiant la source de chaque requête, vous vous assurez que seul le trafic de recherche légitime consomme les ressources de votre serveur. Cela est nécessaire pour protéger les données propriétaires et maintenir la vitesse du site pour les utilisateurs réels.

La vérification de l’adresse IP est le seul moyen de confirmer la véritable identité d’un robot d’indexation.

Google Search Central

Comment Googlebot s’identifie-t-il auprès des serveurs ?

Googlebot s’identifie à l’aide d’une chaîne d’agent utilisateur spécifique dans l’en-tête HTTP de la requête. Ces chaînes sont distinctes pour différents types de robots d’indexation, tels que Googlebot Smartphone ou Googlebot Desktop. Cependant, comme cet en-tête est fourni par le client, il ne constitue pas un identifiant sécurisé en soi. Une requête prétendant être Googlebot n’est valide que si l’adresse IP source est confirmée comme appartenant à Google.

L’infrastructure derrière Googlebot est vaste et utilise une large gamme d’adresses IP qui changent à mesure que leurs besoins réseau augmentent. C’est pourquoi la vérification de l’adresse IP est le seul moyen de confirmer la véritable identité d’un robot d’indexation. En liant l’IP à un domaine Google vérifié, les administrateurs peuvent maintenir leurs politiques de sécurité en toute confiance sans affecter leur visibilité dans la recherche organique.

Dans un environnement de serveur typique, le robot enverra une requête telle que ‘Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)’. Comme cette chaîne peut être copiée par n’importe qui, votre serveur doit effectuer la recherche DNS pour s’assurer que la connexion provient de l’infrastructure de Google.

Comment effectuer une recherche DNS inversée manuelle

Vous pouvez vérifier l’identité d’une adresse IP à l’aide d’outils de ligne de commande disponibles sur la plupart des systèmes d’exploitation. Ces outils interrogent le système de noms de domaine pour trouver le nom d’hôte associé à l’adresse IP spécifique. Suivez ces étapes pour vérifier une IP suspecte :

• Ouvrez votre terminal ou votre invite de commande sur votre machine locale ou votre serveur.
• Utilisez la commande host suivie de l’adresse IP, telle que ‘host 66.249.66.1’.
• Observez la sortie pour voir si le nom d’hôte se termine par googlebot.com ou google.com.
• Effectuez une recherche DNS directe sur le nom d’hôte résultant pour vous assurer qu’il correspond à l’adresse IP d’origine, complétant ainsi le processus de double vérification.

Effectuer ces recherches manuellement est utile pour vérifier des journaux spécifiques. Si vous identifiez une adresse IP suspecte qui accède à votre serveur avec une fréquence élevée, une simple commande de terminal fournit une réponse immédiate. Si la recherche DNS inversée échoue ou renvoie un domaine non lié à Google, vous avez identifié une requête usurpée qui doit être bloquée.

Pour les grands ensembles de données, la vérification manuelle n’est pas efficace. Vous devez utiliser des langages de script comme Python ou Bash pour automatiser ces vérifications par rapport à vos journaux d’accès. Cela vous permet de traiter des milliers d’entrées en quelques secondes et de filtrer automatiquement le trafic illégitime sans intervention manuelle.

Comment Alien Road applique cela pour la sécurité des clients

Chez Alien Road, nous gérons la sécurité côté serveur pour nos clients en mettant en œuvre des scripts automatisés qui effectuent ces vérifications en temps réel. Au cours de notre phase de découverte, nous auditons les règles de pare-feu existantes pour nous assurer qu’elles ne bloquent pas le trafic de recherche légitime. Nous configurons des outils d’analyse de journaux qui surveillent les modèles de robots entrants et signalent toute adresse IP qui présente un faux agent utilisateur mais qui échoue au test de vérification DNS inversée.

Étapes que nous suivons lors de la configuration initiale

• Auditer les journaux du serveur pour identifier les IP et les modèles de robots les plus fréquents.
• Configurer les pare-feu d’applications Web pour n’autoriser que les plages IP Googlebot vérifiées.
• Mettre en place des alertes automatisées qui avertissent notre équipe lorsqu’un robot se comporte de manière erratique.
• Revoir les directives robots.txt pour garantir que le site reste indexable par les principaux moteurs de recherche.

Dans une mission typique, nous constatons que de nombreux clients ont des règles de pare-feu obsolètes qui bloquent le trafic Googlebot légitime. Nous corrigeons cela en alignant leurs paramètres de sécurité sur les directives publiées par Google. Notre objectif est de garantir que, tout en bloquant les scrapers malveillants, Googlebot puisse atteindre chaque page du site pour maintenir ou améliorer les classements dans les moteurs de recherche.

Quels sont les pièges courants de la vérification des robots ?

Une erreur courante consiste à se fier uniquement à la chaîne d’agent utilisateur fournie dans l’en-tête HTTP. De nombreux utilisateurs supposent que parce qu’une requête s’identifie comme ‘Googlebot’, elle doit l’être. C’est incorrect car l’agent utilisateur est un champ auto-déclaré qui peut être facilement modifié par n’importe qui. Un autre problème consiste à ne pas effectuer la seconde moitié de la vérification : la recherche DNS directe. Confirmez toujours que le nom de domaine se résout en l’adresse IP d’origine pour éviter les attaques par usurpation.

Une autre erreur consiste à coder en dur des adresses IP spécifiques dans votre pare-feu. Comme Google met à jour son infrastructure, ces IP peuvent changer avec le temps. Si vos règles de pare-feu sont statiques, vous pourriez finir par bloquer de nouvelles instances de Googlebot qui viennent d’être ajoutées à leur réseau. Utilisez plutôt des scripts qui vérifient dynamiquement le statut de vérification de tout robot prétendant représenter le moteur de recherche.

N’ignorez pas l’aspect de la consommation des ressources. Si vous exécutez des scripts complexes pour vérifier chaque requête, vous pourriez ralentir accidentellement votre serveur. Nous recommandons de mettre en cache les résultats de vos recherches DNS pendant une période raisonnable pour garantir que vos mesures de sécurité n’ont pas d’impact négatif sur la vitesse du site pour les visiteurs humains.

Par où commencer cette semaine

Examinez les journaux d’accès de votre serveur pour voir quels robots demandent vos pages les plus gourmandes en ressources. Si vous remarquez un volume élevé de trafic provenant d’IP prétendant être Googlebot, effectuez une vérification DNS inversée manuelle sur les cinq adresses les plus fréquentes. Si elles ne se résolvent pas en un domaine appartenant à Google, mettez à jour vos règles de pare-feu pour bloquer ces adresses spécifiques, en vous assurant que les ressources de votre serveur restent disponibles pour les utilisateurs légitimes et les robots d’indexation. Cette maintenance proactive maintient votre base technique sécurisée.