Introduction à robots.txt

Un fichier robots.txt indique aux robots d’exploration des moteurs de recherche les URL auxquelles le robot peut accéder sur votre site.
Il est principalement utilisé pour éviter de surcharger votre site avec des requêtes ; ce n’est pas un
mécanisme pour empêcher une page Web d’apparaître sur Google. Pour empêcher une page Web d’apparaître sur Google,
bloquez l’indexation avec noindex
ou protégez la page par mot de passe.

À quoi sert un fichier robots.txt ?

Un fichier robots.txt est principalement utilisé pour gérer le trafic des robots d’exploration sur votre site, et
généralement , pour exclure un fichier de Google, selon le type de fichier :

Effet de robots.txt sur différents types de fichiers
Page Web	Vous pouvez utiliser un fichier robots.txt pour les pages Web (HTML, PDF ou autres formats non multimédias que Google peut lire), afin de gérer le trafic d’exploration si vous pensez que votre serveur sera submergé par les requêtes du robot d’exploration de Google, ou pour éviter d’explorer des pages sans importance ou similaires sur votre site. Si votre page Web est bloquée par un fichier robots.txt, son URL peut toujours apparaître dans les résultats de recherche, mais le résultat de recherche ne comportera pas de description. Les fichiers d’images, de vidéos, les PDF et autres fichiers non HTML intégrés dans la page bloquée seront également exclus de l’exploration, sauf s’ils sont référencés par d’autres pages autorisées à l’exploration. Si vous voyez ce résultat de recherche pour votre page et souhaitez le corriger, supprimez l’entrée robots.txt qui bloque la page. Si vous souhaitez masquer complètement la page de la recherche, utilisez une autre méthode.
Fichier média	Utilisez un fichier robots.txt pour gérer le trafic d’exploration, et également pour empêcher les fichiers d’image, de vidéo et audio d’apparaître dans les résultats de recherche Google. Cela n’empêchera pas d’autres pages ou utilisateurs de créer un lien vers votre fichier d’image, de vidéo ou audio. En savoir plus sur la prévention de l’affichage d’images sur Google. En savoir plus sur la suppression ou la restriction de vos fichiers vidéo sur Google.
Fichier de ressources	Vous pouvez utiliser un fichier robots.txt pour bloquer des fichiers de ressources tels que des images sans importance, des scripts ou des fichiers de style, si vous pensez que les pages chargées sans ces ressources ne seront pas affectées de manière significative par cette perte. Cependant, si l’absence de ces ressources rend la page plus difficile à comprendre pour le robot d’exploration de Google, ne les bloquez pas, sous peine de voir Google analyser moins efficacement les pages qui dépendent de ces ressources.

Comprendre les limites d’un fichier robots.txt

Avant de créer ou de modifier un fichier robots.txt, vous devez connaître les limites de cette méthode de blocage d’URL. Selon vos objectifs et votre situation, vous devriez peut-être envisager d’autres mécanismes pour garantir que vos URL ne sont pas trouvables sur le Web.

• Les règles robots.txt peuvent ne pas être prises en charge par tous les moteurs de recherche.
  Les instructions des fichiers robots.txt ne peuvent pas imposer le comportement des robots sur votre site ; c’est au robot de les respecter. Bien que Googlebot et d’autres robots d’exploration Web respectables respectent les instructions d’un fichier robots.txt, d’autres robots peuvent ne pas le faire. Par conséquent, si vous souhaitez sécuriser des informations contre les robots d’exploration Web, il est préférable d’utiliser d’autres méthodes de blocage, telles que
  la protection par mot de passe des fichiers privés sur votre serveur.
• Différents robots d’exploration interprètent la syntaxe différemment.
  Bien que les robots d’exploration Web respectables suivent les règles d’un fichier robots.txt, chaque robot peut interpréter les règles différemment. Vous devez connaître la
  syntaxe appropriée pour cibler différents robots d’exploration Web, car certains peuvent ne pas comprendre certaines instructions.
• Une page désactivée dans robots.txt
  peut toujours être indexée si elle est liée depuis d’autres sites.
  Bien que Google n’explore ni n’indexe le contenu bloqué par un fichier robots.txt, nous pouvons toujours trouver et indexer une URL bloquée si elle est liée depuis d’autres endroits sur le Web. Par conséquent, l’adresse URL et potentiellement d’autres informations accessibles au public, telles que le texte d’ancrage dans les liens vers la page, peuvent toujours apparaître dans les résultats de recherche Google. Pour empêcher correctement votre URL d’apparaître dans les résultats de recherche Google,
  protégez par mot de passe les fichiers sur votre serveur,
  utilisez la balise noindex meta ou l’en-tête de réponse, ou supprimez entièrement la page.

Créer ou mettre à jour un fichier robots.txt

Si vous avez décidé que vous en aviez besoin, découvrez comment
créer un fichier robots.txt. Ou si vous en avez déjà un, découvrez comment
le mettre à jour.

Vous voulez en savoir plus ? Consultez les ressources suivantes :

• Comment rédiger et soumettre un fichier robots.txt
• Mettez à jour votre fichier robots.txt
• Comment Google interprète la spécification robots.txt