Indexación del sitio

La guía de indexación de Yandex es una lista de verificación con límites técnicos específicos adjuntos; los límites son la parte que vale la pena memorizar.

Los pasos de configuración

1. Añade el sitio en Yandex Webmaster.
2. Envía un sitemap, el cual también puede expresar la prioridad de rastreo, indicando al robot qué páginas se actualizan con frecuencia para que planifique en consecuencia.
3. Configura robots.txt: Disallow para secciones técnicas y de bajo valor, y Clean-param para parámetros CGI insignificantes. Yandex detalla el modo de fallo para los identificadores de sesión: URLs formalmente distintas con contenido idéntico, y si hay muchas, el robot indexa estas en lugar de descargar contenido útil.

Los límites estrictos

• Los documentos de más de 10 MB no se indexan.
• Muchos parámetros CGI, directorios profundamente anidados o URLs excesivamente largas pueden impedir la indexación.
• PDFs: solo se indexa el texto. El texto renderizado como imagen no se indexa, lo que hace que cada folleto escaneado y catálogo basado en imágenes sea invisible.
• Los formatos Open Office XML y OpenDocument se indexan, aunque el soporte para nuevos formatos puede retrasarse.
• .swf los archivos se indexan cuando están enlazados directamente o incrustados mediante object o embed; el contenido dentro de un archivo Flash puede guiar al robot de regreso al documento HTML contenedor.
• frameset y frame el contenido se indexa, identificándose el documento de origen a partir del contenido del marco.

Dos requisitos del lado del servidor

• Las URLs inexistentes deben devolver 404. Al recibirlo, el motor de búsqueda elimina el documento del índice, lo cual es el mecanismo y la razón por la cual un soft-404 deja las páginas eliminadas en su lugar indefinidamente. Todo lo que deba indexarse debe devolver 200 OK.
• Las cabeceras HTTP deben ser correctas, y Yandex destaca la respuesta a If-Modified-Since: la cabecera Last-Modified debe llevar la fecha de modificación genuina del documento. Un servidor que miente sobre esto, devolviendo la hora actual para cada página, fuerza descargas repetidas de contenido sin cambios y desperdicia capacidad de rastreo sin motivo.

Las prioridades prácticas

De todo lo aquí expuesto, dos elementos producen la mayor parte del beneficio en sitios reales: 404 gestión correcta y un honesto Last-Modified con respuestas condicionales funcionales. Ambos son configuraciones del servidor, ambos son invisibles en un navegador y ambos suelen estar mal.