Le robot recherche les enregistrements commençant par User-agent: et fait correspondre soit la sous-chaîne Yandex (sans sensibilité à la casse), soit *. Les règles de préséance sont strictes et génèrent la plupart des erreurs robots.txt.
Les règles de préséance
- Si
User-agent: Yandexest présent,User-agent: *est entièrement ignoré — non fusionné, ignoré. Les règles que vous pensiez être globales ne s’appliquent pas. - Si un bloc existe pour un spécifique robot Yandex, tel que
YandexBot, alors le bloc généralYandexet*ne sont pas utilisés pour ce robot. - Si ni
Yandexni*n’est trouvé, le robot a un accès illimité.
L’exemple propre de Yandex rend le piège concret : un fichier avec YandexBot, Yandex et * blocs applique seulement le premier au robot d’indexation principal, seulement le second aux autres robots Yandex, et le troisième à aucun.
Mise en forme
Une ligne vide devrait précéder chaque User-agent directive. # démarre un commentaire, et tout ce qui se trouve jusqu’à la fin de la ligne est ignoré — ce qui, combiné avec la règle selon laquelle une ligne vide après User-agent détache les règles qui suivent, explique la plupart des fichiers silencieusement corrompus.
L’exception que personne n’attend
Certains robots Yandex peuvent ignorer robots.txt directives dans leur intégralité, y compris celles sous User-agent: Yandex. . Pour les contraindre, vous devez nommer leur user agent exact dans son propre bloc. C’est pourquoi un site qui pense avoir tout bloqué peut toujours voir du crawling provenant d’un agent Yandex dont il n’a jamais entendu parler.
Forme pratique d’un fichier
Écrivez un bloc pour Yandex contenant chaque règle qui doit s’appliquer à Yandex, et un bloc complet séparé pour *. Ne comptez pas sur l’héritage entre eux, car il n’yen a pas. La duplication ici est correcte, pas redondante.
Vérification
Testez des URL spécifiques par user agent dans l’analyseur. L’outil applique les mêmes règles de préséance que le robot, ce qui est le seul moyen fiable de confirmer quel bloc régit réellement une adresse donnée.
Comment nous l'appliquons
The rule we most often have to explain is that a Yandex block makes the wildcard block invisible. Teams add a Yandex-specific rule for one directory and unknowingly drop every general restriction they had. We write the two blocks out in full, duplicated, and test URLs per agent rather than reading the file and reasoning about it.
Services associés