Vérifier Googlebot

personnes

intelligentes demander que les moteurs de recherche fournissent un moyen de savoir qu’un bot est authentique. Après tout, n’importe quel spammeur pourrait nommer son bot « Googlebot » et prétendre être Google, alors à quels bots faites-vous confiance et lesquels bloquez-vous ?
La demande courante que nous entendons est de publier une liste d’adresses IP Googlebot dans un endroit public. Le problème est que si/quand les plages d’adresses IP de nos robots d’exploration changent, tout le monde ne saura pas qu’il faut vérifier. En fait, l’équipe d’exploration a migré les adresses IP de Googlebot il y a quelques années et cela a été un véritable casse-tête d’alerter les webmasters qui avaient codé en dur une plage d’adresses IP. L’équipe d’exploration a donc fourni un autre moyen d’authentifier Googlebot. Voici une réponse de l’un des membres de l’équipe d’exploration (citée avec leur permission) : Dire aux webmasters d’utiliser le DNS pour vérifier au cas par cas semble être la meilleure solution. Je pense que la technique recommandée consisterait à effectuer une recherche DNS inversée, à vérifier que le nom se trouve dans le domaine googlebot.com, puis à effectuer une recherche DNS directe correspondante (DNS->IP) en utilisant ce nom googlebot.com. Par exemple :

Je ne pense pas qu’il suffisse de faire une simple recherche DNS inversée, car un usurpateur pourrait configurer un DNS inversé pour pointer vers

crawl-a-b-c-d.googlebot.com

Cette réponse a également été fournie à notre service d’assistance, je la considère donc comme un moyen officiel d’authentifier Googlebot. Afin de récupérer à partir de la plage d’adresses IP « officielle » de Googlebot, le bot doit respecter robots.txt et nos conventions internes de charge d’hôte afin que Google n’explore pas votre site trop intensivement. (Merci à N. et J. pour leur aide sur cette réponse du côté de l'équipe d'exploration.).

Comment vérifier Googlebot | Alien Road

Dernière heure, j’ai entendu quelques personnes intelligentes demander que les moteurs de recherche fournissent un moyen de savoir qu’un bot est authentique.