Verificación de Googlebot: Cómo realizar búsquedas inversas de DNS por seguridad

Verificar el tráfico de Googlebot a través de una búsqueda inversa de DNS es el método estándar para confirmar que una solicitud a su servidor realmente proviene de Google. Los actores malintencionados a menudo falsifican el agente de usuario de Googlebot para eludir los filtros de seguridad o extraer contenido propietario. Al realizar una verificación de DNS, confirma que la dirección IP se resuelve en un nombre de dominio dentro del espacio de nombres googlebot.com o google.com, lo que separa eficazmente el tráfico de búsqueda genuino de los bots automatizados no autorizados.

¿Por qué es esencial verificar las direcciones IP de Googlebot?

Los servidores web modernos lidian con un tráfico automatizado constante. Si bien parte de este tráfico proviene de los motores de búsqueda, gran parte consiste en scrapers y escáneres de seguridad. Si la configuración de su firewall es demasiado estricta, podría bloquear inadvertidamente a Googlebot, lo que provocaría la eliminación de páginas en los resultados de búsqueda. Por el contrario, si incluye en la lista blanca cada solicitud que afirma ser un bot, expone su infraestructura a vulnerabilidades.

Los equipos de seguridad a menudo luchan con el equilibrio entre accesibilidad y protección. Cuando una dirección IP afirma ser Googlebot, proporciona una cadena de agente de usuario que es fácilmente falsificable. Sin un mecanismo de confirmación secundario, su servidor no puede distinguir entre un rastreador útil y un script malicioso que intenta consumir su ancho de banda o sondear debilidades del sitio.

Si permite todos los bots que afirman ser Googlebot, abre su sitio a ataques. La verificación actúa como un guardián crítico para su servidor. Al verificar la fuente de cada solicitud, se asegura de que solo el tráfico de búsqueda legítimo consuma los recursos de su servidor. Esto es necesario para proteger datos propietarios y mantener la velocidad del sitio para usuarios reales.

Verificar la dirección IP es la única forma de confirmar la verdadera identidad de un rastreador.

Google Search Central

¿Cómo se identifica Googlebot ante los servidores?

Googlebot se identifica utilizando una cadena de agente de usuario específica en el encabezado HTTP de la solicitud. Estas cadenas son distintas para diferentes tipos de rastreadores, como Googlebot Smartphone o Googlebot Desktop. Sin embargo, debido a que este encabezado es proporcionado por el cliente, no es un identificador seguro por sí solo. Una solicitud que afirma ser Googlebot solo es válida si se confirma que la dirección IP de origen pertenece a Google.

La infraestructura detrás de Googlebot es vasta y utiliza una amplia gama de direcciones IP que cambian a medida que crecen sus requisitos de red. Es por esto que verificar la dirección IP es la única forma de confirmar la verdadera identidad de un rastreador. Al vincular la IP a un dominio verificado de Google, los administradores pueden mantener con confianza sus políticas de seguridad sin afectar su visibilidad de búsqueda orgánica.

En un entorno de servidor típico, el rastreador enviará una solicitud como ‘Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)’. Debido a que esta cadena puede ser copiada por cualquiera, su servidor debe realizar la búsqueda de DNS para asegurarse de que la conexión se origine en la infraestructura de Google.

Cómo realizar una búsqueda inversa de DNS manual

Puede verificar la identidad de una dirección IP utilizando herramientas de línea de comandos disponibles en la mayoría de los sistemas operativos. Estas herramientas consultan el Sistema de Nombres de Dominio para encontrar el nombre de host asociado con la dirección IP específica. Siga estos pasos para verificar una IP sospechosa:

• Abra su terminal o símbolo del sistema en su máquina local o servidor.
• Use el comando host seguido de la dirección IP, como ‘host 66.249.66.1’.
• Observe la salida para ver si el nombre de host termina en googlebot.com o google.com.
• Realice una búsqueda de DNS directa en el nombre de host resultante para asegurarse de que coincida con la dirección IP original, completando el proceso de doble verificación.

Realizar estas búsquedas manualmente es útil para verificar registros específicos. Si identifica una dirección IP sospechosa que está accediendo a su servidor con alta frecuencia, un simple comando de terminal proporciona una respuesta inmediata. Si la búsqueda inversa de DNS falla o devuelve un dominio no relacionado con Google, ha identificado una solicitud falsificada que debe bloquearse.

Para conjuntos de datos más grandes, la verificación manual no es eficiente. Debe utilizar lenguajes de script como Python o Bash para automatizar estas comprobaciones en sus registros de acceso. Esto le permite procesar miles de entradas en segundos y filtrar el tráfico ilegítimo automáticamente sin intervención manual.

Cómo aplica Alien Road esto para la seguridad del cliente

En Alien Road, gestionamos la seguridad del lado del servidor para nuestros clientes implementando scripts automatizados que realizan estas comprobaciones en tiempo real. Durante nuestra fase de descubrimiento, auditamos las reglas de firewall existentes para asegurarnos de que no bloqueen el tráfico de búsqueda legítimo. Configuramos herramientas de análisis de registros que monitorean los patrones de bots entrantes y marcan cualquier dirección IP que presente un agente de usuario falso pero que no pase la prueba de verificación de DNS inversa.

Pasos que tomamos durante la configuración inicial

• Auditar los registros del servidor para identificar las IP y patrones de rastreadores más frecuentes.
• Configurar firewalls de aplicaciones web para permitir solo rangos de IP de Googlebot verificados.
• Configurar alertas automatizadas que notifiquen a nuestro equipo cuando un rastreador se comporte de manera errática.
• Revisar las directivas de robots.txt para garantizar que el sitio siga siendo indexable por los principales motores de búsqueda.

En un compromiso típico, encontramos que muchos clientes tienen reglas de firewall obsoletas que bloquean el tráfico legítimo de Googlebot. Solucionamos esto alineando su configuración de seguridad con las pautas publicadas por Google. Nuestro objetivo es garantizar que, mientras se bloquean los scrapers maliciosos, Googlebot pueda llegar a cada página del sitio para mantener o mejorar las clasificaciones en los motores de búsqueda.

¿Cuáles son los errores comunes en la verificación de bots?

Un error común es confiar únicamente en la cadena de agente de usuario proporcionada en el encabezado HTTP. Muchos usuarios asumen que porque una solicitud se identifica como ‘Googlebot’, debe serlo. Esto es incorrecto porque el agente de usuario es un campo autoinformado que puede ser editado fácilmente por cualquiera. Otro problema implica no realizar la segunda mitad de la verificación: la búsqueda de DNS directa. Confirme siempre que el nombre de dominio se resuelva de nuevo en la dirección IP original para evitar ataques de suplantación.

Otro error implica codificar direcciones IP específicas en su firewall. Dado que Google actualiza su infraestructura, estas IP pueden cambiar con el tiempo. Si sus reglas de firewall son estáticas, podría terminar bloqueando nuevas instancias de Googlebot que acaban de agregarse a su red. En su lugar, utilice scripts que verifiquen dinámicamente el estado de verificación de cualquier bot que afirme representar al motor de búsqueda.

No ignore el aspecto del consumo de recursos. Si está ejecutando scripts complejos para verificar cada solicitud, podría ralentizar accidentalmente su servidor. Recomendamos almacenar en caché los resultados de sus búsquedas de DNS durante un período razonable para garantizar que sus medidas de seguridad no causen un impacto negativo en la velocidad del sitio para los visitantes humanos.

Por dónde empezar esta semana

Revise los registros de acceso de su servidor para ver qué bots están solicitando sus páginas con mayor consumo de recursos. Si nota un alto volumen de tráfico de IP que afirman ser Googlebot, ejecute una verificación manual de DNS inversa en las cinco direcciones más frecuentes. Si no se resuelven en un dominio propiedad de Google, actualice sus reglas de firewall para bloquear esas direcciones específicas, asegurando que los recursos de su servidor permanezcan disponibles para usuarios legítimos y rastreadores de búsqueda. Este mantenimiento proactivo mantiene segura su base técnica.