Identificación y bloqueo de solicitudes de Googlebot que consumen muchos recursos

Bloquear las solicitudes de Googlebot que consumen muchos recursos implica identificar URLs específicas o patrones de archivos que consumen excesiva CPU y memoria del servidor, y luego usar directivas de robots.txt o códigos de estado HTTP para gestionar el acceso. Este proceso garantiza que su servidor permanezca estable mientras permite que el rastreador encuentre su contenido más valioso. Al monitorear los registros del servidor y Search Console, puede identificar con precisión los scripts o archivos grandes que ralentizan el proceso de rastreo y afectan la velocidad de su sitio.

¿Qué caracteriza a una solicitud que consume muchos recursos?

Una solicitud que consume muchos recursos ocurre cuando un rastreador visita una página que requiere un esfuerzo significativo del servidor para procesarse. Esto sucede a menudo con URLs dinámicas que generan contenido sobre la marcha. Por ejemplo, una página de resultados de búsqueda en un sitio de comercio electrónico podría activar consultas complejas a la base de datos cada vez que Googlebot la visita. Estas solicitudes consumen más RAM y CPU que un simple archivo HTML estático.

Los archivos multimedia grandes y los scripts no optimizados también entran en esta categoría. Si Googlebot intenta obtener cientos de imágenes de alta resolución o documentos PDF grandes en un corto período de tiempo, la carga del servidor aumenta. Este comportamiento puede ralentizar el sitio para los usuarios humanos reales. Identificar estos patrones es el primer paso hacia una gestión eficaz del rastreador.

¿Cómo pueden los registros del servidor identificar la intensidad del rastreo?

Los registros del servidor proporcionan un registro sin procesar de cada interacción entre Googlebot y su sitio web. Cada entrada contiene la dirección IP, la marca de tiempo y la URL específica solicitada. Al filtrar estos registros por el agente de usuario de Googlebot, puede ver qué secciones de su sitio se rastrean con mayor frecuencia. Las visitas de alta frecuencia al mismo directorio a menudo indican un bucle de rastreo o una estructura de sitio ineficiente.

Su servidor web mantiene un registro de cada solicitud realizada a su sitio, incluidas las de Googlebot.

Google Search Central

Analizar el tiempo de respuesta de estas solicitudes le ayuda a encontrar cuellos de botella. Si ciertas URLs tardan constantemente más de 2 segundos en responder al rastreador, son intensivas en recursos. Puede usar herramientas como awk o grep en servidores Linux para extraer estos datos. Busque códigos de estado como 200 que tengan valores altos de ‘tiempo tomado’ en su formato de registro.

Campos comunes para monitorear en los registros del servidor

• Dirección IP del cliente: Verifica si la solicitud proviene realmente de un rango de IP de Google.
• URL de solicitud: Identifica la ruta específica, incluidos los parámetros de consulta como ?sort=price.
• Código de estado HTTP: Muestra si la solicitud fue exitosa (200) o causó un error (500).
• Tiempo tomado: Mide los milisegundos que el servidor pasó procesando la solicitud.
• Agente de usuario: Confirma si es la versión móvil o de escritorio de Googlebot.

Uso de robots.txt para gestionar el acceso del rastreador

El archivo robots.txt es su herramienta principal para comunicarse con los rastreadores de los motores de búsqueda. Puede usar la directiva ‘Disallow’ para evitar que Googlebot acceda a directorios que consumen muchos recursos. Por ejemplo, si sus páginas de búsqueda interna están ralentizando el servidor, puede bloquear la ruta /search/ por completo. Esto evita que el rastreador inicie esas costosas llamadas a la base de datos.

Una configuración adecuada garantiza que el rastreador dedique su tiempo a las páginas que impulsan la visibilidad en las búsquedas.

Google Search Central

Es importante ser específico con sus directivas. Bloquear archivos CSS o JavaScript esenciales puede evitar que Googlebot renderice sus páginas correctamente. Esto podría llevar a problemas de indexación donde su sitio aparece roto en los resultados de búsqueda. Siempre pruebe sus cambios en robots.txt en el probador de robots.txt de Google Search Console antes de enviarlos a producción.

¿Por qué Googlebot a veces sobrecarga un servidor?

Googlebot intenta rastrear su sitio tan rápido como su servidor lo permite sin causar problemas. Sin embargo, si la configuración de su servidor es débil o su sitio tiene ‘espacios infinitos’, el rastreador podría causar involuntariamente un pico de carga. Los espacios infinitos a menudo son causados por widgets de calendario o sistemas de filtrado complejos que crean un número infinito de URLs únicas. Cada una de estas URLs únicas parece una página nueva para el rastreador.

Además, un aumento repentino en el contenido nuevo puede desencadenar un aumento en la actividad de rastreo. Si migra un sitio o sube miles de productos nuevos, Googlebot trabajará más duro para descubrir e indexar estos elementos. Si el servidor no está listo para este volumen, puede tener dificultades para atender las solicitudes tanto del bot como de sus clientes. Monitorear el informe de Estadísticas de rastreo en Search Console le ayuda a ver estas tendencias desde el principio.

Cómo aplica Alien Road la gestión de rastreadores

En Alien Road, seguimos un proceso sistemático para proteger los recursos del servidor de nuestros clientes mientras mantenemos una fuerte visibilidad en las búsquedas. Comenzamos con una auditoría exhaustiva de los registros del servidor para identificar el 5% superior de las URLs que consumen más tiempo de procesamiento. En una cuenta típica, a menudo encontramos que los filtros dinámicos o los ID de sesión son los principales culpables. Luego implementamos reglas específicas para manejar estos casos.

Por ejemplo, para una tienda Shopify con etiquetas de producto complejas, podríamos encontrar a Googlebot rastreando miles de combinaciones de filtros. Aprovechamos la herramienta de parámetros de URL y robots.txt para limitar este comportamiento. Nuestro equipo configura alertas automatizadas que nos notifican si el tiempo de respuesta promedio para Googlebot supera un umbral específico. Esto nos permite reaccionar antes de que una ralentización del servidor afecte la experiencia del usuario.

Nuestro proceso de auditoría paso a paso

• Recopilación de registros: Recopilamos 30 días de registros de servidor sin procesar para ver los patrones de rastreo a largo plazo.
• Verificación de bots: Ejecutamos búsquedas de DNS inverso para asegurarnos de que el tráfico sea Googlebot legítimo y no un scraper.
• Identificación de rutas: Agrupamos las URLs por directorio para encontrar qué secciones del sitio consumen más recursos.
• Implementación de directivas: Actualizamos el archivo robots.txt para no permitir rutas pesadas no esenciales.
• Monitoreo del rendimiento: Rastreamos las ‘Estadísticas de rastreo’ en GSC para confirmar que la carga ha disminuido.

¿Puede usar códigos de estado para ralentizar a Googlebot?

Si su servidor está bajo estrés inmediato, puede usar códigos de estado HTTP para indicar a Googlebot que se ralentice. El código de estado 429 (Demasiadas solicitudes) está diseñado específicamente para este propósito. Cuando Googlebot recibe un código 429, entiende que debe reducir su tasa de rastreo durante un período. Esta es una solución temporal para evitar un bloqueo total del servidor durante un tráfico alto.

Otra opción es el código de estado 503 (Servicio no disponible). Esto le dice al rastreador que el servidor no puede manejar la solicitud temporalmente. Además, puede usar el encabezado ‘Retry-After’ con un código 503 para sugerir cuándo debería regresar el rastreador. Aunque son efectivos, deben usarse con moderación, ya que los errores 503 o 429 persistentes pueden eventualmente llevar a que las páginas se eliminen del índice.

Plan de acción para los próximos días

Comience accediendo a su Google Search Console y navegando al informe ‘Estadísticas de rastreo’ en el menú Configuración. Compruebe el gráfico de ‘Tiempo de respuesta medio’ en busca de picos pronunciados. Si ve picos, solicite sus registros de servidor sin procesar a su proveedor de alojamiento o equipo de TI. Busque las URL que se solicitaron durante esos momentos pico para identificar los recursos pesados.

Una vez que haya identificado las rutas problemáticas, actualice su archivo robots.txt para bloquearlas. Si los recursos son necesarios para la renderización de la página, como archivos JavaScript grandes, considere optimizar el código o usar una Content Delivery Network (CDN) para aliviar la carga del servidor. Continúe monitoreando las Estadísticas de rastreo diariamente para asegurarse de que sus cambios tengan el efecto deseado en el rendimiento del servidor.