Archivos de sitemap

Un sitemap le indica a Yandex la estructura actual del sitio. Se puede declarar en robots.txt o agregarse en la página de archivos de sitemap; de cualquier manera, el robot lo descarga en un plazo de dos semanas, y cada archivo, incluido cada archivo enumerado en un archivo de índice, se procesa por separado.

Los cuatro estados

• OK — analizado y cargado; las páginas indexadas aparecen en los resultados en un plazo de dos semanas.
• Redirección — la URL del sitemap redirige. Elimine la redirección.
• Error — mal formado; el enlace muestra detalles.
• No indexado — el servidor respondió con algo distinto a 200, o robots.txt bloquea el acceso al archivo. Verifique con la herramienta de respuesta del servidor utilizando la ruta completa.

Actualización: una cuota que vale la pena conocer

Un archivo actualizado no necesita eliminarse ni volver a agregarse; el robot lo verifica regularmente. El procesamiento se puede forzar con el control de actualización, y cada archivo en un archivo de índice se puede activar individualmente. Pero esto está limitado a 10 usos por host, después de lo cual esperas 30 días desde el primer intento, con la fecha exacta mostrada en la consola. Gastar los diez en una sola tarde de impaciencia no deja nada para la migración dos semanas después.

Estrategia para sitios grandes

El propio consejo de Yandex es contradictorio con la intuición pero correcto: el sitemap no tiene por qué contenerlo todo. Las páginas que Yandex ya conoce se pueden omitir, dejando páginas nuevas y actualizadas frecuentemente, y con un archivo de índice, los archivos volátiles marcados con lastmod. Las estadísticas de rastreo muestran lo que Yandex ya conoce. Esto convierte al sitemap de un inventario estático en un flujo de cambios, que es para lo que el robot realmente lo utiliza.

Dos comportamientos confusos, explicados

• El sitemap aparece como una página excluida con “formato de documento no válido”. Solo informativo. El robot intentó indexar el XML como una página normal; no afecta el procesamiento y el archivo no participa en la búsqueda.
• Error de “Etiqueta desconocida”. El archivo contiene elementos que Yandex no admite, por ejemplo, una referencia a una versión móvil. Los elementos no compatibles se ignoran y los compatibles se procesan, por lo que el archivo no necesita cambios.

Eliminación

Elimine el archivo en la consola y elimine la directiva Sitemap de robots.txt, o el robot seguirá encontrándolo. Se borra de la base de datos en pocas semanas.