Robots.txtUtilisation de robots.txt
robots.txt définit les paramètres de crawl pour les robots de recherche. Restreindre des sections réduit la charge du serveur et…
Robots.txt
Robots.txtLa directive User-agent
Le robot recherche les enregistrements commençant par User-agent: et fait correspondre soit la sous-chaîne Yandex (sans sensibilité à la casse),…
Directives Disallow et Allow
Disallow empêche l’exploration de sections ou de pages ; Allow les autorise. Yandex liste ce qui se trouve derrière Disallow…
Robots.txtLa directive Sitemap
La Sitemap directive indique l’emplacement du sitemap. Plusieurs peuvent être listés, un par ligne : User-agent: Yandex Allow: / sitemap:…
La directive Crawl-delay
Crawl-delay est ignorée par Yandex depuis le 22 février 2018. Tout site qui intègre encore cette directive contient une ligne…
Robots.txtLa directive Clean-param
Clean-param est une extension Yandex sans équivalent ailleurs : elle indique au robot quels paramètres d’URL ne modifient pas le…
Robots.txtComment vérifier qu'un robot appartient à Yandex
Les robots peuvent prétendre être Yandex en configurant le user agent. La vérification est effectuée par recherche DNS inverse, et…
Robots.txtComment réduire la charge sur le site ou le serveur ?
Le robot planifie ses propres visites et ajuste la charge automatiquement. Les requêtes peuvent monter en flèche lorsqu’il découvre une…