Yandex describe su propio proceso en cuatro etapas, y saber a qué etapa pertenece un problema es lo que convierte una queja vaga en una solucionable.
Etapa 1: rastreo
El robot decide qué sitios rastrear, con qué frecuencia y cuántas páginas. Su lista de páginas conocidas proviene de enlaces internos y externos, el sitemap, los datos de Yandex Metrica y robots.txt. Las páginas de más de 10 MB no se indexan.
El manejo de respuestas es explícito:
200 OK— rastreado.3XX— el robot rastrea el destino de la redirección.4XXy5XX— la página no se incluye y se elimina si ya estaba en la búsqueda.
Y el truco útil que sigue: si una página se rompe temporalmente debido a un fallo del CMS, configure el servidor para que responda con 429 en su lugar. 429 El robot verifica el código y no descarta la página. Pero un continuo indica a Yandex que el servidor tiene dificultades yreduce la tasa de rastreo
, por lo que es un parche, no una configuración. HTTP/2 es compatible
— carga más rápida y menor carga en el servidor, aunque Yandex deja claro que no cambia la frecuencia de rastreo ni el posicionamiento, y HTTP/1.1 sigue funcionando.
Etapa 2: indexación El robot analiza y almacena el contenido: description la etiqueta meta,title , el marcado de Schema.org para el fragmento; la directiva noindex , que mantiene la página fuera;rel=”canonical”
, que declara la dirección preferida para un grupo; y el texto, las imágenes y el vídeo. Cuando el contenido coincide en varias páginas, se convierten en duplicados.
Etapas 3 y 4 Se recopila una base de datos de páginas aptas para la búsqueda y a partir de ella se generan los resultados. Los resultados se actualizan regularmente, y estas actualizaciones pueden mover la posición de un sitio sin que nada en el sitio cambie
— que es la respuesta correcta a la mayoría de las preguntas de “bajamos y nada cambió”.
Por qué importa el modelo
Cómo lo aplicamos
The 429 behaviour is the practical gift here: during a CMS incident it keeps pages in the index instead of letting them be dropped for 5XX responses, which turns a two-hour outage into a non-event rather than a two-week recovery. We put it in the incident runbook for every client with a fragile stack — and we take it out again once the incident ends, because sustained 429 costs crawl rate.
Servicios relacionados