Estructura del sitio

El robot encuentra páginas siguiendo enlaces. Yandex establece la consecuencia sin suavizarla: un documento sin enlaces que apunten a él nunca será descubierto y será ignorado en la búsqueda. Por lo tanto, la estructura no es una cuestión estética.

Las seis reglas

1. Mantenga una estructura de enlaces clara. Cada documento pertenece a una sección y debe ser alcanzable a través de un <a href> enlace real. Yandex añade un hecho que vale la pena planificar: el tiempo de indexación depende en parte de la profundidad de anidamiento — cuanto más profunda esté una página, más tiempo puede tardar en ser incluida. La mayoría de los visitantes también entran por la página de inicio, porque un dominio es más fácil de recordar que una URL interna.
2. Utilice un mapa del sitio en proyectos grandes para ayudar al robot a encontrar y analizar documentos.
3. Restrinja la indexación de páginas técnicas. Duplicados, resultados de búsqueda interna, páginas de estadísticas: Yandex explica exactamente por qué esto es importante: dichas páginas se añaden y actualizan constantemente, por lo que se rastrean a menudo mientras que las páginas con información importante pasan desapercibidas. Este es el argumento del presupuesto de rastreo expresado en las propias palabras del motor.
4. Dé a cada página una URL única y descriptiva. La transliteración ayuda al robot a inferir el tema; el ejemplo dado muestra cuánto comunica una URL bien formada antes incluso de que se obtenga la página.
5. Proporcione enlaces de texto a las secciones, para que el robot aprenda lo que contienen.
6. Compruebe los enlaces simbólicos para que las URLs no puedan crecer indefinidamente. Las páginas con tokens repetidos — example.com/vasya/vasya/vasya/ — pueden no ser indexadas en absoluto. Esta es la clásica trampa del espacio infinito producida por enlaces relativos en una plantilla mal manejada.

El detalle de la codificación

Utilice la misma codificación para las páginas y para las URLs en cirílico. Cuando el robot encuentra href="/корзина" en una página UTF-8, almacena el enlace en esa codificación, por lo que la página debe ser alcanzable en el equivalente codificado por porcentaje. Una falta de coincidencia aquí produce enlaces que funcionan en un navegador y dan 404 para el robot.

Qué hacer con esto

Compruebe tres cosas en cualquier sitio: que cada página que merece ser indexada sea alcanzable mediante un enlace simple, que nada importante esté a más de tres o cuatro niveles de profundidad, y que las URLs de filtro y búsqueda estén excluidas. Esas tres cubren la mayor parte de lo que describe esta página y la mayor parte de lo que sale mal.