La directive Sitemap

La Sitemap directive indique l’emplacement du sitemap. Plusieurs peuvent être listés, un par ligne :

User-agent: Yandex
Allow: /
sitemap: https://example.com/site_structure/my_sitemaps1.xml
sitemap: https://example.com/site_structure/my_sitemaps2.xml

La propriété qui compte

Elle est transversale : le robot l’utilise indépendamment de l’endroit où elle apparaît dans le fichier. Elle n’appartient pas au bloc User-agent situé au-dessus et n’a pas besoin d’être répétée dans chaque bloc. Les fichiers qui dupliquent la directive sous chaque agent sont inoffensifs mais inutiles ; les fichiers qui la placent à l’intérieur d’un bloc en s’attendant à ce qu’elle ne s’applique qu’à celui-ci l’ont mal comprise.

Comment elle est traitée

Le robot mémorise le chemin, traite les données et utilise le résultat lors de sa prochaine visite. Rien ne se produit immédiatement, ce qu’il est bon de savoir avant de conclure qu’un sitemap nouvellement déclaré a échoué.

L’exigence de formatage

L’URL doit être fournie en entier, y compris le protocole. Un chemin relatif génère l’erreur “Format d’URL de fichier Sitemap invalide” dans l’analyseur — une vérification d’extension Yandex que les validateurs robots.txt génériques n’effectuent pas, de sorte que l’erreur peut survivre à tous les autres tests.

La déclarer ici par rapport à la console

Les deux méthodes fonctionnent et ne s’excluent pas mutuellement. La directive est publique et lisible par tous les moteurs ; l’entrée de la console est spécifique à Yandex et rend compte de l’état du traitement, des erreurs et de la date du dernier téléchargement. Pour un site de n’importe quelle taille, faites les deux : le fichier pour la portée, la console pour la visibilité afin de savoir si cela a réellement fonctionné.

L’interaction à éviter

Ne bloquez pas le propre répertoire du sitemap avec Disallow. Un sitemap déclaré dans le fichier et bloqué par une autre règle dans le même fichier génère l’erreur “URL interdite dans robots.txt”, et cela est plus courant qu’il n’y paraît sur les sites où les sitemaps se trouvent sous un chemin généré ou utilitaire.