La mayoría de los sitios contienen páginas que nadie debería encontrar en la búsqueda: páginas de servicio y administración, contenido útil solo para usuarios con sesión iniciada como pantallas de pago y perfiles, borradores y marcadores de posición. Yandex explica por qué ocultarlas no es una tarea de mantenimiento, sino un problema de posicionamiento.
Los tres costos de dejarlas rastreables
- Carga innecesaria en el sitio debido a su rastreo.
- El robot tarda más en llegar a sus páginas de destino — capacidad de rastreo gastada en páginas que nunca se posicionarán.
- Si están indexadas, compiten con sus páginas importantes y confunden a los usuarios.
Yandex añade la observación que hace esto urgente en sitios grandes: el número de tales páginas es comparable a, y a menudo supera, el número de páginas por las que vale la pena atraer visitantes.
Descubrir cuáles se están rastreando realmente
Páginas consultables → Páginas excluidas, filtradas por bajo valor o baja demanda. Yandex señala que esta lista contiene dos cosas diferentes:
- Páginas que sí quiere en la búsqueda, las cuales necesitan mejoras.
- Páginas nunca destinadas a los usuarios, que el robot encontró de todos modos, y esas deberían ocultarse.
Leer la lista con esa división en mente convierte un informe que genera ansiedad en dos elementos de trabajo concretos.
Cómo ocultarlas
El instrumento depende del objetivo. Disallow en robots.txt detiene el rastreo y ahorra capacidad. noindex mantiene la página fuera de los resultados al tiempo que permite que el robot la lea. La autorización elimina la pregunta por completo para las páginas que nunca deben ser públicas. Las dos no se deben combinar en la misma URL — una página bloqueada no se puede leer, por lo que su noindex nunca se ve.
La prioridad práctica
En un sitio de catálogo, las exclusiones de mayor valor son las combinaciones de filtros y ordenamientos, los resultados de búsqueda interna y las páginas de carrito y comparación. Ese conjunto es por donde suele irse el presupuesto de rastreo, y bloquearlo es el trabajo de una sola tarde con un efecto medible en la rapidez con la que aparecen nuevos productos.
Cómo lo aplicamos
The two-lists reading of the low-value report is how we run this: half the entries are usually pages the client wants and needs to improve, the other half are pages nobody meant to publish. Separating them takes twenty minutes and produces a content plan and a robots.txt change instead of a vague worry about a large number.
Servicios relacionados