Crawl-delay ha sido ignorada por Yandex desde el 22 de febrero de 2018. Cualquier sitio que aún mantenga la directiva tiene una línea que no hace absolutamente nada.
Qué la reemplazó
La configuración de velocidad de rastreo en Yandex Webmaster, en Indexación → Velocidad de rastreo. Es automática de forma predeterminada, calculada para cargar tantas páginas como sea posible sin sobrecargar el servidor, y se puede configurar manualmente por sitio — incluyendo por separado para cada subdominio.
Por qué el cambio es una mejora
Una directiva de archivo es estática y ciega: aplica la misma demora tanto si el servidor está inactivo como si sufre dificultades, y ralentiza al robot incluso cuando hay capacidad de sobra. La configuración de la consola es una recomendación que Yandex sopesa frente a lo que sabe sobre el sitio, y el modo automático se adapta.
Antes de recurrir a ella
La guía de Yandex sobre la velocidad de rastreo se aplica aquí: averigüe qué está pidiendo realmente el robot antes de ralentizarlo. Si la carga proviene de combinaciones de filtros, URL de sesión y resultados de búsqueda internos — como suele ocurrir —, el remedio correcto es Disallow o Clean-param, lo que elimina las solicitudes desperdiciadas y devuelve el presupuesto de rastreo a las páginas reales. Reducir la velocidad mantiene el desperdicio y ralentiza todo lo demás al mismo tiempo.
Tareas de mantenimiento
Elimine Crawl-delay de robots.txt la próxima vez que lo edite. No tiene ningún efecto en Yandex, otros rastreadores todavía la respetan, y dejarla en su lugar sugiere que existe un control de velocidad donde no lo hay — que es exactamente el tipo de suposición que sobrevive a la persona que escribió el archivo.
Dónde sigue existiendo un límite real
Si el tráfico de robots es un problema operativo real, la configuración de la consola es el único control orientado a Yandex, y debe configurarse por separado para el dominio principal y cada subdominio. Una velocidad establecida en el dominio principal no hace nada por el subdominio que realmente está bajo carga.
Cómo lo aplicamos
We remove stale Crawl-delay lines when auditing, because their presence convinces teams that crawl rate is under control when it is not. The per-subdomain requirement is the detail that catches people: the load is usually on one subdomain, and the setting applied to the main domain has no effect there at all.
Servicios relacionados