La frecuencia de rastreo es el número de solicitudes por segundo que el robot realiza a su sitio. Se configura automáticamente por defecto, y el algoritmo de Yandex tiene como objetivo cargar tantas páginas como sea posible sin sobrecargar el servidor. Debe configurarse por separado para el dominio principal y cada subdominio.
Antes de reducirla
Yandex solicita un diagnóstico primero, y el orden es deliberado. Si el tráfico del robot está perjudicando al servidor, averigüe qué está solicitando el robot:
- Lea los registros del servidor.
- Abra Indexación → Estadísticas de rastreo con la vista Todas las páginas y busque páginas de servicio y duplicados, normalmente URLs con parámetros GET.
Si el robot está gastando su presupuesto en combinaciones de filtros y URLs de sesión, la solución correcta es Disallow en robots.txt, verificado con la herramienta de análisis de robots.txt, y no una frecuencia de rastreo más baja. Reducir la frecuencia trata el síntoma y ralentiza las páginas que realmente desea que se indexen. Esta distinción es todo el contenido de la página.
Aumentarla
El valor es una recomendación. Yandex dice claramente que la frecuencia real puede diferir, según lo que se sabe sobre el sitio. Un número mayor no compra una indexación más rápida en un sitio que el robot no tiene motivos para rastrear con más intensidad.
Cómo configurarla
Indexación → Frecuencia de rastreo, active Establecer manualmente, mueva el control deslizante (comienza en el óptimo calculado) y guarde.
Cuándo se justifica el manual
Alojamiento compartido donde el tráfico del robot aumenta notablemente los tiempos de respuesta, un evento programado donde el margen de maniobra importa, o un sitio detrás de una capa de limitación de velocidad que comienza a devolver errores bajo la carga de rastreo. Fuera de esos casos, lo automático es la mejor opción, y un valor manual establecido hace años y olvidado es un límite silencioso sobre la rapidez con la que se descubren nuevas páginas.
Cómo lo aplicamos
The first thing we check when a client asks us to slow the robot down is what it is actually fetching, because it is nearly always filter and parameter URLs rather than real pages. Blocking those returns both the server load and the crawl budget; lowering the rate returns only the load, and costs indexing speed on the pages that matter. We also make a point of looking for a manual rate someone set during a long-forgotten incident.
Servicios relacionados