Robots.txt

La directiva Sitemap

Ask AI about this page

1 views 2 min de lectura

El Sitemap la directiva declara dónde se encuentra el sitemap. Se pueden enumerar varios, uno por línea:

User-agent: Yandex
Allow: /
sitemap: https://example.com/site_structure/my_sitemaps1.xml
sitemap: https://example.com/site_structure/my_sitemaps2.xml

La propiedad que importa

Es interseccional: el robot la utiliza independientemente de dónde aparezca en el archivo. No pertenece al bloque User-agent situado encima y no es necesario repetirla en cada bloque. Los archivos que duplican la directiva bajo cada agente son inofensivos pero innecesarios; los archivos que la colocan dentro de un bloque esperando que se aplique solo allí la han malinterpretado.

La directiva Sitemap

Cómo se procesa

El robot recuerda la ruta, procesa los datos y utiliza el resultado en su próxima visita. Nada ocurre de inmediato, lo cual conviene saber antes de concluir que un sitemap recién declarado ha fallado.

El requisito de formato

La URL debe proporcionarse por completo, incluido el protocolo. Una ruta relativa genera el error “Formato de URL de archivo Sitemap no válido” en el analizador, una comprobación de extensión de Yandex que los validadores genéricos de robots.txt no realizan, por lo que el error puede sobrevivir a cualquier otra prueba.

Declararlo aquí frente a la consola

Ambas rutas funcionan y no son excluyentes. La directiva es pública y legible por todos los motores; la entrada de la consola es específica de Yandex e informa sobre el estado de procesamiento, los errores y la fecha de la última descarga. Para un sitio de cualquier tamaño, haga ambas cosas: el archivo para el alcance, la consola para comprobar si realmente funcionó.

La directiva Sitemap — 2

La interacción que se debe evitar

No bloquee el propio directorio del sitemap con Disallow. Un sitemap declarado en el archivo y bloqueado por otra regla en el mismo archivo produce el error “URL prohibida en robots.txt”, y es más común de lo que parece en sitios donde los sitemaps se encuentran bajo una ruta generada o de utilidades.

Alien Road

Cómo lo aplicamos

The intersectional property is worth knowing simply because it stops people rewriting a working file. The mistake we actually find is the relative path — it looks correct, no generic checker complains, and Yandex ignores the sitemap entirely. We always confirm the declared URL resolves and returns 200 before assuming the sitemap is in play.

Servicios relacionados

Compartir