Qué agentes de usuario utiliza Google y cómo confirmar que una solicitud que dice ser Googlebot lo es realmente.
Google opera varios rastreadores. Los principales son Googlebot Smartphone (el rastreador principal para la indexación), Googlebot Desktop, Googlebot Image, Googlebot Video y agentes separados para AdsBot y solicitudes activadas por el usuario.
La verificación importa Las cadenas de agentes de usuario se falsifican fácilmente. Los scrapers afirman habitualmente ser Googlebot para evitar los límites de velocidad. Realiza la verificación con una búsqueda de DNS inverso en la IP solicitante, que debe resolverse en googlebot.com ogoogle.com
y, a continuación, una búsqueda directa de vuelta a la misma IP. Google también publica sus rangos de IP en formato JSON.
Frecuencia de rastreo
Google ajusta la frecuencia de rastreo automáticamente en función de la respuesta del servidor. Los errores 5xx constantes o las respuestas lentas hacen que retroceda. Ya no existe una configuración manual de la frecuencia de rastreo en Search Console; si necesitas reducirla urgentemente, devuelve un 503 o un 429, pero solo brevemente, ya que las respuestas 5xx sostenidas provocan la desindexación. Alien Road recomienda:
Cómo lo aplicamos
Verifying crawler identity matters when a client’s security team starts blocking traffic. We have seen legitimate Googlebot requests blocked by a firewall rule, which removes a site from the index within weeks.
Servicios relacionados