La directiva crawl-delay es un comando dentro del archivo robots.txt de un sitio web que indica a los rastreadores de los motores de búsqueda, específicamente a Yandexbot, que esperen un número determinado de segundos entre solicitudes sucesivas. Al implementar esta directiva, los webmasters gestionan los recursos del servidor de manera más efectiva, evitando que el bot sature la infraestructura de alojamiento durante los períodos de indexación intensiva. Esta configuración ayuda a mantener la velocidad del sitio para los visitantes humanos y al mismo tiempo garantiza que los motores de búsqueda sigan accediendo al contenido a un ritmo sostenible.
¿Por qué debería utilizar la directiva crawl-delay para Yandex?
Gestionar la frecuencia con la que un rastreador web visita su sitio es una parte clave del mantenimiento técnico. Cuando un servidor recibe cientos de solicitudes por minuto de un rastreador, debe asignar ciclos de CPU y memoria para procesar cada proceso. Para sitios con backends complejos o grandes bases de datos, esta asignación de recursos puede generar tiempos de respuesta más lentos para los clientes reales. Yandexbot puede ser bastante activo y, si su servidor no está configurado para manejar una alta concurrencia, es posible que vea un aumento en los errores 503 Service Unavailable.
Una alta frecuencia de rastreo es generalmente buena para indexar contenido nuevo rápidamente. Sin embargo, la estabilidad del sitio es más importante. Si el servidor se cae o se ralentiza significativamente, la experiencia del usuario se ve afectada, lo que puede influir indirectamente en sus clasificaciones. Al utilizar una demora, se proporciona un búfer que permite que el servidor respire entre las visitas de los bots. Esto es especialmente útil para sitios que se ejecutan en planes de alojamiento compartido o VPS con recursos limitados.
A menudo vemos servidores luchando con solicitudes simultáneas de múltiples bots. Configurar una demora específica para Yandexbot evita estos picos sin detener por completo el proceso de indexación. Es una forma sencilla pero eficaz de garantizar la estabilidad.
Equipo SEO de Alien Road
Cómo formatear la directiva crawl-delay en robots.txt
La sintaxis de esta directiva es sencilla, pero debe colocarse en la sección correcta de su archivo robots.txt para que sea reconocida. Yandex busca esta instrucción específicamente bajo los bloques User-agent: Yandex o User-agent: *. El valor representa el número de segundos que el bot debe esperar antes de iniciar una nueva solicitud después de que haya terminado la anterior.
- Coloque la directiva en su propia línea dentro del archivo robots.txt.
- Utilice dos puntos seguidos de un espacio y luego el valor numérico.
- Asegúrese de que el valor sea un número entero o decimal si el motor lo admite.
- La directiva debe ser parte de un bloque User-agent específico para un mejor control.
- Verifique que no haya reglas Allow o Disallow contradictorias que puedan confundir al analizador.
Por ejemplo, si desea que Yandexbot espere 5 segundos entre solicitudes, su archivo se verá así: User-agent: Yandex seguido de Crawl-delay: 5 en la siguiente línea. Esto le indica al rastreador que solo puede hacer una solicitud cada cinco segundos. Si su sitio tiene 10.000 páginas, tomará más tiempo rastrear todo el sitio, pero la carga en su servidor se mantendrá consistentemente baja.
¿Yandex admite valores fraccionarios para las demoras?
Si bien muchos webmasters utilizan números enteros como 1, 2 o 10, la documentación de Yandex indica que los valores fraccionarios también son aceptables. Por ejemplo, un valor de 0.5 significaría una demora de medio segundo, lo que permitiría dos solicitudes por segundo. Esta es una configuración más agresiva que un segundo completo, pero aún proporciona un pequeño espacio que puede evitar una avalancha literal de solicitudes en un solo milisegundo.
Vale la pena probar diferentes valores para encontrar el equilibrio adecuado. Una demora demasiado larga puede significar que sus publicaciones de blog o actualizaciones de productos más recientes tarden semanas en aparecer en los resultados de búsqueda. Por el contrario, una demora demasiado corta puede no resolver sus problemas de rendimiento del servidor. La mayoría de los sitios web medianos encuentran que un valor entre 0.5 y 2.0 funciona bien para sus necesidades.
Cómo aplica Alien Road la directiva crawl-delay
En un proyecto típico, nuestro equipo comienza revisando los registros del servidor y las estadísticas de rastreo proporcionadas en las consolas de búsqueda. Buscamos patrones en los que la actividad del bot se correlaciona con un alto uso de memoria o una mayor latencia para los usuarios. Alien Road utiliza un enfoque basado en datos para determinar si es necesaria una demora o si el servidor simplemente necesita un mejor almacenamiento en caché.
- Paso 1: Analice los registros del servidor para identificar la frecuencia máxima de solicitudes de Yandexbot.
- Paso 2: Compare los tiempos de rastreo con los tiempos de respuesta del servidor (TTFB) para ver si el bot está ralentizando el sitio.
- Paso 3: Implemente un valor conservador de Crawl-delay, como 2, en el archivo robots.txt.
- Paso 4: Monitoree el informe de Estadísticas de rastreo en Yandex Webmaster para asegurarse de que el bot siga visitando las páginas esenciales.
- Paso 5: Ajuste el valor según la velocidad de indexación y la salud del servidor durante un período de 14 días.
Por ejemplo, una tienda de Shopify que vende artículos de lujo puede tener miles de combinaciones de filtros que Yandexbot intenta indexar. Esto puede crear una carga masiva. Al aplicar una demora específica, nos aseguramos de que el sitio siga siendo rápido para los compradores al tiempo que permitimos que Yandex descubra las páginas de productos más importantes. Priorizamos la experiencia del usuario porque un sitio lento eventualmente pierde tanto clientes como clasificaciones de búsqueda.
¿Puede usar las herramientas de Yandex Webmaster en su lugar?
Sí, Yandex proporciona una interfaz gráfica dentro de Yandex Webmaster para configurar la tasa de rastreo. Esto se encuentra en el menú ‘Configuración de indexación’. La herramienta le permite mover un control deslizante para indicar la velocidad deseada. Este método suele ser más fácil para aquellos que no se sienten cómodos editando archivos de texto en su servidor. Sin embargo, la directiva robots.txt es considerada más definitiva por muchos profesionales técnicos de SEO porque reside directamente en la raíz del sitio.
Si configura tanto una directiva en robots.txt como un valor en el panel de webmaster, Yandex generalmente sigue la instrucción en el panel, ya que es una configuración más reciente y directa. Recomendamos usar un método de manera consistente para evitar confusión. Si tiene un desarrollador que administra el servidor, el archivo robots.txt suele ser el mejor lugar para esta configuración.
Si bien la directiva es útil, es una herramienta contundente. Preferimos combinarla con el almacenamiento en caché del lado del servidor para reducir el peso de procesamiento real de cada visita del bot. De esta manera, incluso si el bot visita con frecuencia, el servidor no tiene que trabajar tanto.
Equipo SEO de Alien Road
¿Cuáles son los errores comunes con esta directiva?
Un error importante es establecer una demora demasiado alta, como 60 segundos. Una demora de 60 segundos significa que el bot solo puede rastrear 1,440 páginas por día. Para un sitio de comercio electrónico grande con 500,000 páginas, tomaría más de un año rastrear todo el sitio una vez. Esto destruye efectivamente su rendimiento de SEO. Otro error es olvidar que los diferentes bots tienen diferentes nombres. Usar ‘User-agent: Googlebot’ con un crawl-delay no afectará a Yandex en absoluto.
Los errores de sintaxis también son comunes. Colocar la directiva fuera de un bloque User-agent la hace inválida. De manera similar, usar la capitalización o la ortografía incorrectas, como ‘Crawl-speed’ en lugar de ‘Crawl-delay’, hará que Yandexbot ignore la regla por completo. Siempre use una herramienta de validación para verificar su archivo robots.txt después de hacer cambios.
Por dónde empezar esta semana
Comience revisando su cuenta de Yandex Webmaster para ver si hay alguna advertencia sobre la disponibilidad del servidor. Si ve errores 5xx frecuentes durante los tiempos de rastreo, es una señal clara de que necesita implementar una demora. Agregue un simple Crawl-delay: 2 a su archivo robots.txt bajo el agente de Yandex. Monitoree el rendimiento de su servidor durante tres días para ver si la carga de la CPU se estabiliza. Si no ve una mejora, es posible que deba investigar optimizaciones más profundas del lado del servidor o indexación de bases de datos.