Les robots peuvent prétendre être Yandex en configurant le user agent. La vérification est effectuée par recherche DNS inverse, et il est utile d’automatiser cette procédure lors de l’analyse des journaux (logs).
Les quatre étapes
- Récupérez l’adresse IP à partir des journaux du serveur.
- Effectuez une recherche inverse de l’IP pour obtenir un nom d’hôte.
- Confirmez que l’hôte se termine par
yandex.ru,yandex.netouyandex.com. Toute autre fin signifie qu’il ne s’agit pas de Yandex. - Effectuez une recherche directe du nom d’hôte et confirmez qu’il se résout à nouveau vers la même IP. Une non-correspondance signifie que le nom d’hôte est faux.
La quatrième étape est celle que les gens oublient, et sans elle, la vérification ne prouve rien. L’outil de vérification d’adresse IP de la console fait le même travail pour une seule adresse.
Pourquoi les plages d’adresses IP ne sont pas publiées
Les robots utilisent des systèmes autonomes AS13238, AS208722 et AS212066 avec des adresses changeant fréquemment, aucune liste n’est donc divulguée. L’utilisation d’une liste blanche par IP n’est par conséquent pas une stratégie viable ; le DNS inverse est la méthode prise en charge.
Le détail important concernant la flotte de robots
De nombreux robots Yandex récupèrent des documents à des fins autres que l’indexation, et un certain nombre d’entre eux ignorent robots.txt les règles écrites pour User-agent: *. Certains ignorent complètement le fichier — YaDirectFetcher, plusieurs YandexMetrika versions. Pour les contraindre, nommez-les explicitement :
User-agent: YandexCalendar
Disallow: /
User-agent: YandexMobileBot
Disallow: /private/*.txt$La règle qui résout une confusion fréquente
Si l’un de ces robots télécharge un document que le principal robot d’indexation ne peut pas atteindre, ce document n’est jamais indexé et n’apparaît jamais dans la recherche. Le trafic dans les journaux provenant d’un agent Yandex ne prouve pas qu’une page est en cours d’indexation — la flotte est grande et la majeure partie n’est pas l’indexeur.
Lecture des journaux
Les chaînes de user agent incluent une version de navigateur qui change au fil du temps — YandexBot/3.0 apparaît avec une version de Chrome attachée. Faites correspondre le nom du robot et jamais la chaîne complète, sinon les filtres des journaux échoueront silencieusement après une mise à jour.
Comment nous l'appliquons
The forward-confirmation step is the one that matters: half the “Yandex is hammering our server” reports we have looked at were other crawlers wearing the name. It is also why we match log filters on the robot name rather than the full user agent — the Chrome version inside it changes, and rules written against the whole string quietly stop matching.
Services associés