L’analyseur de robots.txt effectue trois tâches : valider le fichier, tester des URL spécifiques par rapport à celui-ci et conserver un historique des modifications. La troisième est celle que personne n’utilise et celle qui résout les incidents le plus rapidement.
Validation
Pour un site vérifié, le fichier apparaît automatiquement ; sinon, entrez l’adresse. Les sections adressées à Yandex (User-agent: Yandex ou *) sont vérifiées par rapport aux propres règles de Yandex, et les autres sections par rapport au standard général — c’est pourquoi un fichier qui passe un vérificateur générique peut tout de même échouer ici.
Les résultats se présentent sous forme de avertissements (écarts que l’outil peut corriger lui-même ou erreurs de frappe possibles) et d’erreurs (une ligne, une section ou un fichier entier qui ne peut pas être traité).
Tester les URL — la partie qui compte
La section Vérifier si les URL sont autorisées prend une liste d’adresses, complètes ou relatives, et marque chacune comme autorisée ou bloquée. C’est le seul moyen fiable de savoir ce que fait le fichier, car il applique les véritables règles de présécurité : un blocage Yandex l’emporte sur le caractère générique (wildcard), et un blocage de robot spécifique l’emporte sur les deux.
Testez les deux directions : les URL qui doivent pouvoir être explorées et celles qui ne le doivent pas. Un fichier syntaxiquement parfait bloquant le mauvais répertoire ne signale aucune erreur.
Historique des modifications
Six mois d’historique, jusqu’à 100 versions enregistrées, téléchargeables. Lorsque l’indexation change soudainement, la première question est de savoir si ce fichier a changé – et cela y répond par une date, sans qu’il soit nécessaire d’accéder au journal de déploiement de quiconque. Combiné avec la notification « robots.txt modifié », il transforme une catégorie invisible d’incident en un incident traçable.
Pratique de travail
Rédigez dans l’outil, validez, testez la liste des URL, puis copiez sur le site. Modifier le fichier en direct et vérifier ensuite, c’est ainsi que les sites passent quinze jours bloqués – et le fichier est récupéré plusieurs fois par jour, de sorte qu’une erreur se propage rapidement.
Comment nous l'appliquons
The change history has settled more than one argument for us about when a site stopped being crawled. We also draft in the tool rather than editing live, because robots.txt is refetched within hours and a wrong Disallow is expensive in a way most edits are not. Testing URLs in both directions is the habit that catches rules of the wrong precision.
Services associés