Fichiers sitemap

Un sitemap indique à Yandex la structure actuelle du site. Il peut être déclaré dans robots.txt ou ajouté sur la page des fichiers sitemap ; dans les deux cas, le robot le télécharge dans un délai de deux semaines, et chaque fichier — y compris chaque fichier répertorié dans un fichier d’index — est traité séparément.

Les quatre statuts

• OK — analysé et chargé ; les pages indexées apparaissent dans les résultats dans un délai de deux semaines.
• Redirection — l’URL du sitemap redirige. Supprimez la redirection.
• Erreur — mal formé ; le lien affiche les détails.
• Non indexé — le serveur a répondu avec autre chose que 200, ou robots.txt bloque l’accès au fichier. Vérifiez avec l’outil de réponse du serveur en utilisant le chemin complet.

Mise à jour : un quota bon à savoir

Un fichier mis à jour n’a pas besoin d’être supprimé et réajouté — le robot vérifie régulièrement. Le traitement peut être forcé avec le contrôle d’actualisation, et chaque fichier d’un fichier d’index peut être déclenché individuellement. Mais cela est limité à 10 utilisations par hôte, après quoi vous attendez 30 jours à compter du premier essai, avec la date exacte affichée dans la console. Utiliser les dix en un seul après-midi d’impatience ne laisse rien pour la migration deux semaines plus tard.

Stratégie pour les grands sites

Le propre conseil de Yandex est contre-intuitif et correct : le sitemap ne doit pas nécessairement tout contenir. Les pages que Yandex connaît déjà peuvent être supprimées, ne laissant que les pages nouvelles et fréquemment mises à jour — et avec un fichier d’index, les fichiers volatils marqués avec lastmod. Les statistiques de crawl montrent ce que Yandex sait déjà. Cela transforme le sitemap d’un inventaire statique en un flux de modifications, ce pour quoi le robot l’utilise réellement.

Deux comportements déroutants, expliqués

• Le sitemap apparaît comme une page exclue avec « format de document non valide ». Informatif uniquement. Le robot a essayé d’indexer le XML comme une page ordinaire ; cela n’affecte pas le traitement et le fichier ne participe pas à la recherche.
• Erreur « Balise inconnue ». Le fichier contient des éléments que Yandex ne prend pas en charge — une référence à une version mobile, par exemple. Les éléments non pris en charge sont ignorés et les éléments pris en charge sont traités, de sorte que le fichier n’a pas besoin d’être modifié.

Suppression

Supprimez le fichier dans la console et supprimez la directive Sitemap de robots.txt, sinon le robot continue de le trouver. Il est effacé de la base de données en quelques semaines.