Verificar Googlebot

personas

inteligentes pedir que los motores de búsqueda proporcionen una forma de saber que un bot es auténtico. Después de todo, cualquier spammer podría nombrar a su bot “Googlebot” y afirmar que es Google, así que ¿en qué bots confías y cuáles bloqueas?
La solicitud común que escuchamos es publicar una lista de direcciones IP de Googlebot en algún lugar público. El problema con eso es que si/cuando los rangos de IP de nuestros rastreadores cambian, no todos sabrán que deben verificarlo. De hecho, el equipo de rastreo migró las IP de Googlebot hace un par de años y fue una verdadera molestia alertar a los webmasters que habían codificado rígidamente un rango de IP. Así que el personal de rastreo ha proporcionado otra forma de autenticar Googlebot. Aquí tienes la respuesta de uno de los miembros del equipo de rastreo (citada con su permiso): Decirle a los webmasters que usen DNS para verificar caso por caso parece ser la mejor manera de proceder. Creo que la técnica recomendada sería realizar una búsqueda inversa de DNS, verificar que el nombre esté en el dominio googlebot.com y luego realizar una búsqueda directa correspondiente de DNS->IP usando ese nombre googlebot.com. Por ejemplo:

No creo que hacer solo una búsqueda inversa de DNS sea suficiente, porque un suplantador podría configurar un DNS inverso para que apunte a

crawl-a-b-c-d.googlebot.com

Esta respuesta también se ha proporcionado a nuestro servicio de asistencia, por lo que la consideraría una forma oficial de autenticar Googlebot. Para realizar la recuperación desde el rango IP “oficial” de Googlebot, el bot debe respetar robots.txt y nuestras convenciones internas de carga de host para que Google no te rastree con demasiada intensidad. (Gracias a N. y J. por la ayuda con esta respuesta por parte del equipo de rastreo)..

Cómo verificar Googlebot | Alien Road

Últimamente he escuchado a un par de personas inteligentes pedir que los motores de búsqueda proporcionen una forma de saber que un bot es auténtico.