Utilisation d'un fichier robots.txt

24 février 2006

Il y a quelques semaines, nous
avons lancé un outil d’analyse
robots.txt. Cet outil vous donne des informations sur la façon dont
Googlebot
interprète votre fichier robots.txt. Vous pouvez en lire plus sur le
standard d’exclusion de robots robots.txt, mais nous avons pensé répondre à certaines questions fréquentes ici.

Qu’est-ce qu’un fichier robots.txt ?

Un fichier robots.txt fournit des restrictions aux robots des moteurs de recherche (connus sous le nom de “bots”) qui parcourent le Web. Ces bots sont automatisés et, avant d’accéder aux pages d’un site, ils vérifient si un fichier robots.txt existe pour les empêcher d’accéder à certaines pages.

Mon site a-t-il besoin d’un fichier robots.txt ?

Seulement si votre site comprend du contenu que vous ne souhaitez pas que les moteurs de recherche indexent. Si vous souhaitez que les moteurs de recherche indexent tout sur votre site, vous n’avez pas besoin de fichier robots.txt (pas même d’un fichier vide).

Où le fichier robots.txt doit-il être situé ?

Le fichier robots.txt doit résider à la racine du domaine. Un fichier robots.txt situé dans un sous-répertoire n’est pas valide, car les bots ne recherchent ce fichier qu’à la racine du domaine. Par exemple, https://www.example.com/robots.txt est un emplacement valide. Mais,
https://www.example.com/mysite/robots.txt ne l’est pas. Si vous n’avez pas accès à la racine d’un domaine, vous pouvez restreindre l’accès en utilisant la
balise META robots.

Comment créer un fichier robots.txt ?

Vous pouvez créer ce fichier dans n’importe quel éditeur de texte. Il doit s’agir d’un
fichier texte encodé en ASCII, et non d’un fichier HTML. Le nom de fichier doit être en minuscules.

Quelle doit être la syntaxe de mon fichier robots.txt ?

Le fichier robots.txt le plus simple utilise deux règles :

• User-Agent: le robot auquel s’applique la règle suivante
• Disallow: les pages que vous souhaitez bloquer

Ces deux lignes sont considérées comme une seule entrée dans le fichier. Vous pouvez inclure autant d’entrées que vous le souhaitez. Vous pouvez inclure plusieurs lignes Disallow dans une seule entrée.

User-Agent

Un user-agent est un robot de moteur de recherche spécifique.
Base de données des robots Web
répertorie de nombreux bots courants. Vous pouvez configurer une entrée pour qu’elle s’applique à un bot spécifique (en listant le nom) ou vous pouvez la configurer pour qu’elle s’applique à tous les bots (en listant un astérisque). Une entrée qui s’applique à tous les bots ressemble à ceci :

Disallow

Le Disallow la ligne répertorie les pages que vous souhaitez bloquer. Vous pouvez lister une URL spécifique ou un modèle. L’entrée doit commencer par une barre oblique (/).

• Pour bloquer l’ensemble du site, utilisez une barre oblique : Disallow: /
• Pour bloquer un répertoire, faites suivre le nom du répertoire par une barre oblique :
  Disallow: /private_directory/
• Pour bloquer une page, répertoriez la page :
  Disallow: /private_file.html

Les URL respectent la casse. Par exemple, Disallow: /private_file.html bloquerait
https://www.example.com/private_file.html, mais autoriserait
https://www.example.com/Private_File.html.

Comment bloquer Googlebot ?

Google utilise plusieurs user-agents. Vous pouvez bloquer l’accès à l’un d’eux en incluant le nom du bot sur la ligne User-Agent d’une entrée.

• Googlebot: explore les pages de notre
  index Web.
• Googlebot-Mobile: explore les pages pour notre
  index mobile.
• Googlebot-Image: explore les pages pour notre
  index d’images.
• Mediapartners-Google: explore les pages pour déterminer
  contenu AdSense
  (utilisé uniquement si vous diffusez des annonces AdSense sur votre site).

Puis-je autoriser des pages ?

Oui, Googlebot reconnaît une extension de la norme robots.txt appelée Allow. Cette extension peut ne pas être reconnue par tous les autres bots de moteurs de recherche, alors vérifiez auprès d’autres moteurs de recherche qui vous intéressent pour le savoir. La Allow ligne fonctionne exactement comme la
Disallow ligne. Listez simplement un répertoire ou une page que vous souhaitez autoriser.

Vous voudrez peut-être utiliser Disallow et Allow ensemble. Par exemple, pour bloquer l’accès à toutes les pages d’un sous-répertoire sauf une, vous pouvez utiliser les entrées suivantes :

Ces entrées bloqueraient toutes les pages du répertoire folder1 à l’exception de
myfile.html.

Je ne veux pas que certaines pages de mon site soient indexées, mais je veux afficher des annonces AdSense sur ces pages. Puis-je le faire ?

Oui, vous pouvez Disallow tous les bots sauf Mediapartners-Google de ces pages. Cela empêche l’indexation des pages, mais permet au bot
Googlebot-MediaPartners d’analyser les pages pour déterminer les annonces à afficher.
Googlebot-MediaPartners le bot ne partage pas les pages avec les autres agents utilisateurs de Google. Par exemple, vous pourriez utiliser les entrées suivantes :

Je ne veux pas lister chaque fichier que je veux bloquer. Puis-je utiliser la correspondance de modèles ?

Oui, Googlebot interprète certaines correspondances de modèles. Il s’agit d’une extension de la norme, donc tous les bots ne la suivent peut-être pas.

Correspondance d’une séquence de caractères

Vous pouvez utiliser un astérisque (*) pour faire correspondre une séquence de caractères. Par exemple, pour bloquer l’accès à tous les sous-répertoires commençant par private, vous pourriez utiliser l’entrée suivante :

Comment puis-je m’assurer que mes blocages et autorisations de fichiers font ce que je veux ?

Vous pouvez utiliser notre
outil d’analyse robots.txt pour :

• Vérifier des URL spécifiques pour voir si votre fichier robots.txt les autorise ou les bloque.
• Voir si Googlebot a eu des difficultés à analyser des lignes de votre fichier robots.txt.
• Tester les modifications apportées à votre fichier robots.txt.

De plus, si vous n’utilisez pas actuellement de fichier robots.txt, vous pouvez en créer un, puis le tester avec l’outil avant de le télécharger sur votre site.

Si je modifie mon fichier robots.txt ou en télécharge un nouveau, combien de temps faudra-t-il pour qu’il prenne effet ?

Nous téléchargeons généralement les fichiers robots.txt environ une fois par jour. Vous pouvez voir la dernière fois que nous avons téléchargé votre fichier en accédant à l’onglet robots.txt de votre compte Sitemaps et en vérifiant la
Dernier téléchargement date et heure.

Publié par Vanessa Fox