robots.txt définit les paramètres de crawl pour les robots de recherche. Restreindre des sections réduit la charge du serveur et accélère le site. Yandex prend en charge le protocole d’exclusion des robots avec ses propres extensions.
L’avertissement qui arrive en premier et compte le plus
Les pages restreintes dans robots.txt peuvent toujours apparaître dans la recherche Yandex. Pour supprimer une page des résultats, vous devez utiliser la directive noindex dans le code HTML ou l’en-tête HTTP, et vous ne devez pas bloquer cette page dans robots.txt, car une page bloquée n’est jamais récupérée et le noindex n’est jamais vu.
C’est le malentendu le plus lourd de conséquences en SEO technique, et Yandex l’énonce dès le premier paragraphe. Le blocage concerne le budget de crawl ; noindex concerne la présence dans les recherches. Utiliser le premier pour obtenir le second garantit que la page reste indexée de manière permanente.
Exigences relatives aux fichiers
- Maximum 500 Ko.
- Un fichier TXT nommé
robots.txt. - Dans le répertoire racine.
- Accessible aux robots, renvoyant
200 OK.
. Si le fichier ne répond pas à ces exigences, le site est considéré comme ouvert à l’indexation. Un fichier malformé ou inaccessible n’est pas un filet de sécurité — c’est une porte ouverte.
La fonction de redirection
Yandex accepte une redirection du robots.txt d’un site vers celui d’un autre site et applique les directives du fichier cible. C’est particulièrement utile lors du déplacement d’un site, où les deux domaines doivent présenter des règles cohérentes — et c’est pourquoi le guide de migration insiste pour que les deux fichiers concordent.
Les directives prises en charge
User-agent— à quel robot les règles s’appliquent.Disallow— interdit le crawl de sections ou de pages.Sitemap— le chemin d’accès au sitemap, indiqué en entier avec le protocole.Clean-param— une extension Yandex déclarant les paramètres à ignorer.
Vérification
Testez le fichier dans l’analyseur robots.txt de la console avec de vraies URL, pas seulement pour la syntaxe. Un fichier dont l’analyse réussit et qui bloque le mauvais répertoire ne signale aucune erreur.
Comment nous l'appliquons
The block-versus-noindex distinction is the single most useful thing on this page and the mistake we correct most often: a client blocks a page in robots.txt to get it out of search, and it stays in search forever because the robot can no longer read the noindex. The other detail worth remembering is that a broken robots.txt means an open site — a 500 error on that file removes every restriction at once.
Services associés