Les statistiques d’exploration sont le journal de ce que le robot a réellement fait : quelles pages il a récupérées, quand et ce que le serveur a répondu. C’est le premier rapport à ouvrir lorsque quelque chose concernant l’indexation semble anormal, car il décrit des événements plutôt que des états. Les données sont mises à jour quotidiennement, dans les six heures suivant la visite du robot, et l’historique remonte au 20 février 2017.
Deux vues
- Dernières modifications — pages dont le code de réponse HTTP a changé entre les visites, jusqu’à 50,000 entrées. Notez bien la limitation : un changement n’est enregistré que lorsque le code de réponse change. Le contenu qui change avec un
200 OKconstant n’apparaît pas du tout ici. - Toutes les pages — tout ce que le robot a exploré, également plafonné à 50 000, avec la date d’exploration, le chemin et le dernier code de réponse.
Les deux peuvent être filtrés par date, fragment d’URL ou code de réponse et exportés vers XLS ou CSV.

Comment lire les colonnes Was et Currently
Une première exploration affiche N/a dans Was et la réponse dans Currently; une fois chargée dans la base de données, la page peut apparaître dans les résultats lors de la prochaine mise à jour de l’index. Une nouvelle exploration affiche la réponse précédente par rapport à la réponse actuelle, et c’est là que se trouvent les modèles utiles : 200 devenir 404 sur un ensemble d’URL est un déploiement qui a cassé quelque chose, et cela est visible ici des jours avant d’apparaître dans le trafic.
Pourquoi les pages supprimées continuent d’être explorées
Yandex explique un comportement qui intrigue la plupart des propriétaires de sites : une page exclue de la recherche reste dans la base de données tandis que le robot continue de vérifier si elle est revenue. Il continue de la demander tant que des liens vers celle-ci existent et que robots.txt ne l’interdit pas. Ainsi, les URL supprimées il y a des années continuent d’apparaître dans ce rapport — le robot a trouvé un lien sur le site de quelqu’un d’autre. Si l’exploration est vraiment indésirable, une règle Disallow est la solution ; si les URL sont simplement anciennes, elles ne coûtent rien d’autre que du bruit.
Analyse au niveau des sections
Le rapport peut être limité à une section de site, en utilisant la structure que Yandex a déduite — ce qui est instructif en soi, car une section que la console ne connaît pas est une section que le robot n’a pas explorée correctement. Les pages manquantes de la liste devraient être soumises via l’outil de réindexation.

Le chiffre à surveiller
Fréquence d’exploration par section. Si le robot visite le blog quotidiennement et une catégorie commercialement importante mensuellement, c’est une constatation concernant le budget d’exploration, et cela explique pourquoi les mises à jour de cette catégorie prennent des semaines à avoir un effet.
Comment nous l'appliquons
This is the first report we open when a client says pages are “not being indexed”, because it separates two completely different problems: the robot never came, or the robot came and the server answered badly. Filtering by response code across a date range takes a minute and settles it. The behaviour we most often have to explain is the robot repeatedly requesting URLs deleted long ago — it is following links from other sites, not malfunctioning.
Services associés