Analyse d'un fichier robots.txt

10 février 2006

Au début de cette semaine, nous vous avons parlé d’une fonctionnalité que nous avons mise à disposition via le programme Sitemaps qui
analyse le fichier robots.txt d’un site.
Voici plus de détails sur cette fonctionnalité.

Ce que signifie l’analyse

L’outil robots.txt de Sitemaps lit le fichier robots.txt de la même manière que Googlebot. Si l’outil interprète une ligne comme une erreur de syntaxe, Googlebot ne comprend pas cette ligne. Si l’outil indique qu’une URL est autorisée, Googlebot interprète cette URL comme autorisée.

Cet outil fournit des résultats uniquement pour les user-agents de Google (tels que Googlebot). D’autres robots n’interprètent peut-être pas le fichier robots.txt de la même manière. Par exemple, Googlebot prend en charge une définition étendue de la norme. Il comprend Allow: les lignes, ainsi que
* et $. Ainsi, même si l’outil affiche les lignes qui incluent ces extensions comme comprises, n’oubliez pas que cela s’applique uniquement à Googlebot et pas nécessairement aux autres robots qui peuvent explorer votre site.

Sites de sous-répertoires

Un fichier robots.txt n’est valide que lorsqu’il se trouve à la racine d’un site. Par conséquent, si vous consultez un site de votre compte qui se trouve dans un sous-répertoire (tel que
https://www.example.com/mysite/), nous vous affichons des informations sur le fichier robots.txt à la racine (https://www.example.com/robots.txt). Vous n’avez peut-être pas accès à ce fichier, mais nous vous le montrons car le fichier robots.txt peut avoir un impact sur l’exploration de votre site de sous-répertoire et vous voudrez peut-être vous assurer qu’il autorise les URL comme vous le prévoyez.

Test de l’accès aux répertoires

Si vous testez une URL qui correspond à un fichier (tel que
https://www.example.com/myfile.html), cet outil peut déterminer si le fichier robots.txt autorise ou bloque ce fichier. Si vous testez une URL qui correspond à un répertoire (tel que
https://www.example.com/folder1/), cet outil peut déterminer si le fichier robots.txt autorise ou bloque l’accès à cette URL, mais il ne peut pas vous renseigner sur l’accès aux fichiers situés dans ce dossier. Le fichier robots.txt peut avoir défini des restrictions sur les URL du dossier qui sont différentes de l’URL du dossier lui-même.

Examinez ce fichier robots.txt :

Si vous testez https://www.example.com/folder1/, l’outil indiquera qu’il est bloqué. Mais si vous testez https://www.example.com/folder1/myfile.html, vous verrez qu’il n’est pas bloqué même s’il est situé à l’intérieur de folder1.

Syntaxe non comprise

Vous pouvez voir une erreur « syntaxe non comprise » pour plusieurs raisons différentes. La plus fréquente est que Googlebot n’a pas pu analyser la ligne. Cependant, d’autres raisons potentielles sont :

• Le site n’a pas de fichier robots.txt, mais le serveur renvoie un état de 200 pour les pages introuvables. Si le serveur est configuré de cette façon, lorsque Googlebot demande le fichier robots.txt, le serveur renvoie une page. Cependant, cette page n’est pas réellement un fichier robots.txt, de sorte que Googlebot ne peut pas la traiter.
• Le fichier robots.txt n’est pas un fichier robots.txt valide. Si Googlebot demande un fichier robots.txt et reçoit un type de fichier différent (par exemple, un fichier HTML), cet outil n’affichera pas d’erreur de syntaxe pour chaque ligne du fichier. Il affiche plutôt une erreur pour l’ensemble du fichier.
• Le fichier robots.txt contient une règle que Googlebot ne suit pas. Certains user-agents obéissent à des règles autres que le
  standard robots.txt. Si Googlebot rencontre l’une des règles supplémentaires les plus courantes, l’outil les répertorie comme des erreurs de syntaxe.

Problèmes connus

Nous travaillons sur quelques problèmes connus avec l’outil, notamment la façon dont l’outil traite la casse et l’analyse avec des user-agents de Google autres que Googlebot. Nous vous tiendrons au courant dès que ces problèmes seront résolus.

Publié par Vanessa Fox