El robot planifica sus propias visitas y ajusta la carga automáticamente. Las solicitudes pueden dispararse cuando descubre una nueva sección, un cambio estructural o un lote de nuevas URLs. La orientación de Yandex es diagnosticar antes de limitar.
El diagnóstico
- Compara páginas cargadas con páginas en la búsqueda en la página Mis sitios. Una gran brecha significa que el robot está encontrando muchas páginas similares o duplicadas que no deberían indexarse.
- Abre las estadísticas de rastreo o los registros del servidor y observa lo que realmente recuperó. Presta atención a las URLs con parámetros GET — combinaciones de filtros como
?price=1,000&max_price=1,000,000, o URLs de búsqueda interna como?search=…. Yandex señala el desperdicio claramente: el robot rastrea estas URLs distintas y su contenido idéntico no puede participar en la búsqueda de todos modos.
Los dos remedios, en orden
Clean-param— dirige al robot a la URL canónica entre los duplicados, transfiere las métricas acumuladas a ella y permite que la carga disminuya gradualmente.Disallow— la opción rápida: el robot deja de acceder a las páginas especificadas dentro de las 24 horas posteriores al cambio del archivo. Úsalo cuando la carga sea un problema activo.
Si la carga realmente no se debe a páginas adicionales
Dos opciones: configura el servidor para que responda 429 Too Many Requests, lo que le indica a Yandex que el servidor tiene dificultades y reducirá las solicitudes; o establece la velocidad de rastreo manualmente en la consola. 429 La ruta es preferible porque es dinámica: se aplica mientras el servidor está bajo presión y se levanta cuando no lo está.
Subdominios
Yandex trata cada subdominio como un sitio separado y rastrea cada uno, por lo que la carga agregada puede dispararse sin que ningún sitio individual se comporte de manera inusual. Si los registros del servidor muestran que la mayoría de las solicitudes van a subdominios, Yandex sugiere algo más radical que la limitación: reconsidera si los subdominios son necesarios y si las secciones regionales del sitio principal servirían igual de bien a los visitantes.
Cómo lo aplicamos
The 24-hour figure for Disallow taking effect is the one to know during an incident — it is the fastest lever available. But we always look at the loaded-versus-in-search gap first, because the load is nearly always filter URLs, and blocking those returns both the capacity and the crawl budget. Configuring 429 is worth doing once on any site with a history of load problems: it is self-regulating in a way a fixed crawl rate is not.
Servicios relacionados