Erreurs d'analyse de Robots.txt

L’analyseur de robots.txt de la console signale des erreurs et des avertissements, dont plusieurs sont des extensions Yandex — des règles que le fichier peut enfreindre dans Yandex sans poser de problème ailleurs. Cette distinction est la raison pour laquelle cette référence est importante : un fichier validé par l’analyseur de Google peut tout de même être rejeté ici.

Erreurs, avec les spécifiques à Yandex signalées

• La règle ne commence pas par / ou * (Extension Yandex) — une règle ne peut commencer que par ces caractères.
• Plusieurs User-agent: * règles — un seul bloc de ce type est autorisé.
• Limite de taille de fichier dépassée (Yandex) — le fichier dépasse 2 048 règles. Les fichiers robots.txt générés automatiquement sur les grands catalogues se heurtent à cela.
• Aucune directive User-agent avant une règle — les règles doivent suivre une ligne User-agent . Yandex ajoute la cause probable : une ligne vide après User-agent, ce qui met fin au bloc. Le fichier semble correct et les règles en dessous ne s’appliquent à personne.
• Règle trop longue (Yandex) — plus de 1 024 caractères.
• URL de Sitemap invalide (Yandex) — le sitemap doit être fourni en entier, avec le protocole. Un chemin relatif est une erreur courante et silencieuse.
• Format Clean-param invalide (Yandex) — un ou plusieurs paramètres séparés par &, puis un espace, puis le préfixe du chemin.

Avertissements

Caractère illégal (tout caractère spécial autre que * et $) ; directive inconnue (absente des règles de Yandex — souvent une directive valide pour un autre moteur, raison pour laquelle il s’agit d’un avertissement plutôt que d’une erreur) ; erreur de syntaxe sur une ligne qui ne peut pas être interprétée ; et erreur inconnue, qui nécessite l’intervention du support.

Erreurs de validation d’URL

Lors du test d’une URL spécifique par rapport au fichier : une erreur de syntaxe dans l’URL, ou “cette URL n’appartient pas à votre domaine” — ce qui signifie généralement que vous avez collé une autre adresse du site au lieu de la principale. Compte tenu de la gestion des miroirs par Yandex, cette erreur est facile à commettre et source de confusion.

Comment utiliser correctement l’analyseur

Ne vous arrêtez pas à « aucune erreur ». Entrez les URL que vous pensez devoir être crawlées et celles qui devraient être bloquées, et confirmez le verdict pour chacune. Un fichier syntaxiquement parfait qui bloque le mauvais répertoire ne signale aucune erreur.