Comment écrire et soumettre un fichier robots.txt

Vous pouvez
contrôler quels fichiers les robots d’exploration peuvent accéder
sur votre site avec un fichier robots.txt.

Un fichier robots.txt réside à la racine de votre site. Donc, pour le site www.example.com, le fichier robots.txt réside à www.example.com/robots.txt. robots.txt est un fichier texte brut qui suit le
Robots Exclusion Standard. Un fichier robots.txt se compose d’une ou plusieurs règles. Chaque règle bloque ou autorise l’accès pour tous ou un robot d’exploration spécifique à un chemin de fichier spécifié sur le domaine ou le sous-domaine où le fichier robots.txt est hébergé. Sauf indication contraire dans votre fichier robots.txt, tous les fichiers sont implicitement autorisés à être explorés.

Voici un fichier robots.txt simple avec deux règles :

Voici ce que signifie ce fichier robots.txt :

1. L’agent utilisateur nommé Googlebot n’est pas autorisé à explorer aucune URL commençant par
   https://example.com/nogooglebot/.
2. Tous les autres agents utilisateurs sont autorisés à explorer l’ensemble du site. Cela aurait pu être omis et le résultat aurait été le même ; le comportement par défaut est que les agents utilisateurs sont autorisés à explorer l’ensemble du site.
3. Le fichier sitemap du site est situé à
   https://www.example.com/sitemap.xml.

Voir la section syntaxe pour plus d’exemples.

Directives de base pour la création d’un fichier robots.txt

La création d’un fichier robots.txt et le rendre généralement accessible et utile implique quatre étapes :

1. Créez un fichier nommé robots.txt.
2. Ajoutez des règles au fichier robots.txt.
3. Téléchargez le fichier robots.txt à la racine de votre site.
4. Testez le fichier robots.txt.

Créez un fichier robots.txt

Vous pouvez utiliser presque n’importe quel éditeur de texte pour créer un fichier robots.txt. Par exemple, Notepad, TextEdit, vi et emacs peuvent créer des fichiers robots.txt valides. N’utilisez pas de traitement de texte ; les traitements de texte enregistrent souvent les fichiers dans un format propriétaire et peuvent ajouter des caractères inattendus, tels que des guillemets courbes, qui peuvent causer des problèmes aux robots d’exploration. Assurez-vous d’enregistrer le fichier avec l’encodage UTF-8 si vous y êtes invité lors de la boîte de dialogue d’enregistrement du fichier.

Règles de format et d’emplacement :

• Le fichier doit être nommé robots.txt.
• Votre site ne peut avoir qu’un seul fichier robots.txt.
• Le fichier robots.txt doit être situé à la racine de l’hôte du site auquel il s’applique. Par exemple, pour contrôler l’exploration sur toutes les URL sous
  https://www.example.com/, le fichier robots.txt doit être situé à
  https://www.example.com/robots.txt. Il ne peut pas être placé dans un sous-répertoire (par exemple, à https://example.com/pages/robots.txt). Si vous n’êtes pas sûr de la façon d’accéder à la racine de votre site, ou si vous avez besoin d’autorisations pour le faire, contactez votre fournisseur de services d’hébergement Web. Si vous ne pouvez pas accéder à la racine de votre site, utilisez une méthode de blocage alternative telle que meta balises.
• Un fichier robots.txt peut être publié sur un sous-domaine (par exemple,
  https://site.example.com/robots.txt) ou sur des ports non standard (par exemple, https://example.com:8181/robots.txt).
• Un fichier robots.txt s’applique uniquement aux chemins au sein du protocole, de l’hôte et du port où il est publié. C’est-à-dire que les règles dans https://example.com/robots.txt s’appliquent uniquement aux fichiers dans
  https://example.com/, pas aux sous-domaines tels que
  https://m.example.com/, ou aux protocoles alternatifs, tels que
  http://example.com/.
• Un fichier robots.txt doit être un fichier texte encodé en UTF-8 (ce qui inclut l’ASCII). Google peut ignorer les caractères qui ne font pas partie de la plage UTF-8, rendant potentiellement les règles robots.txt invalides.

Comment écrire des règles robots.txt

Les règles sont des instructions pour les robots d’exploration sur les parties de votre site qu’ils peuvent explorer. Suivez ces directives lors de l’ajout de règles à votre fichier robots.txt :

• Un fichier robots.txt se compose d’un ou plusieurs groupes (ensemble de règles).
• Chaque groupe se compose de plusieurs règles (également appelées directives), une règle par ligne. Chaque groupe commence par une ligne User-agent qui spécifie la cible des groupes.
• Un groupe fournit les informations suivantes :
  • À qui le groupe s’applique (l’agent utilisateur).
  • Quels répertoires ou fichiers cet agent peut accéder.
  • Quels répertoires ou fichiers cet agent ne peut pas accéder.
• Les robots d’exploration traitent les groupes de haut en bas. Un agent utilisateur ne peut correspondre qu’à un seul ensemble de règles, qui est le premier groupe le plus spécifique correspondant à un agent utilisateur donné. S’il existe plusieurs groupes pour le même agent utilisateur, les groupes seront combinés en un seul groupe avant le traitement.
• L’hypothèse par défaut est qu’un agent utilisateur peut explorer n’importe quelle page ou répertoire non bloqué par une règle
  disallow .
• Les règles sont sensibles à la casse. Par exemple, disallow: /file.asp s’applique à
  https://www.example.com/file.asp, mais pas à
  https://www.example.com/FILE.asp.
• Le caractère # marque le début d’un commentaire. Les commentaires sont ignorés lors du traitement.

Les robots d’exploration de Google prennent en charge les règles suivantes dans les fichiers robots.txt :

• user-agent: [Obligatoire, une ou plusieurs par groupe] La règle spécifie le nom du client automatique connu sous le nom de robot d’exploration de moteur de recherche auquel la règle s’applique. Il s’agit de la première ligne de tout groupe de règles. Les noms des agents utilisateur de Google sont répertoriés dans la
  liste des agents utilisateur de Google. L’utilisation d’un astérisque (*) correspond à tous les robots d’exploration, à l’exception des différents robots AdsBot, qui doivent être nommés explicitement. Par exemple :*disallow:
• [Au moins une ou plusieurs entrées disallow ou allow
  par règle] Un répertoire ou une page, relatif au domaine racine, que vous ne souhaitez pas que l'agent utilisateur explore. Si la règle fait référence à une page, il doit s'agir du nom complet de la page tel qu'il apparaît dans le navigateur. Elle doit commencer par un caractère et si elle fait référence à un répertoire, elle doit se terminer par la marque / . / allow:
• [Au moins une ou plusieurs entrées disallow ou allow
  par règle] Un répertoire ou une page, relatif au domaine racine, qui peut être exploré par l'agent utilisateur mentionné précédemment. Ceci est utilisé pour remplacer une règle disallow
  afin d'autoriser l'exploration d'un sous-répertoire ou d'une page dans un répertoire non autorisé. Pour une seule page, spécifiez le nom complet de la page tel qu'il apparaît dans le navigateur. Elle doit commencer par un caractère et si elle fait référence à un répertoire, elle doit se terminer par la marque / .
  / sitemap:
• [Optionnel, zéro ou plus par fichier] L'emplacement d'un sitemap pour ce site. L'URL du sitemap doit être une URL complète ; Google ne suppose ni ne vérifie les alternatives http/https/www.non-www. Les sitemaps sont un bon moyen d'indiquer quel contenu Google doit explorer, par opposition au contenu qu'il peut
  ou ne peut pas explorer. En savoir plus sur les sitemaps. Exemple :
  Toutes les règles, sauf
  sitemap

, prennent en charge le caractère générique pour un préfixe de chemin, un suffixe ou une chaîne entière.Les lignes qui ne correspondent à aucune de ces règles sont ignorées. * Lisez notre page sur

l’interprétation par Google de la spécification robots.txt

pour la description complète de chaque règle.
Téléchargez le fichier robots.txt
Une fois que vous avez enregistré votre fichier robots.txt sur votre ordinateur, vous êtes prêt à le rendre disponible pour les robots d’exploration des moteurs de recherche. Il n’existe pas d’outil unique qui puisse vous aider, car la façon dont vous téléchargez le fichier robots.txt sur votre site dépend de l’architecture de votre site et de votre serveur. Contactez votre société d’hébergement ou consultez la documentation de votre société d’hébergement ; par exemple, recherchez “upload files infomaniak”.

Après avoir téléchargé le fichier robots.txt, testez s’il est accessible publiquement et si Google peut l’analyser.

Testez le balisage robots.txt

Pour tester si votre fichier robots.txt nouvellement téléchargé est accessible publiquement, ouvrez une

fenêtre de navigation privée

(ou équivalent) dans votre navigateur et accédez à l’emplacement du fichier robots.txt. Par exemple,
https://example.com/robots.txt
. Si vous voyez le contenu de votre fichier robots.txt, vous êtes prêt à tester le balisage. Google propose deux options pour résoudre les problèmes liés au balisage robots.txt :Le

rapport robots.txt

1. dans la Search Console. Vous ne pouvez utiliser ce rapport que pour les fichiers robots.txt qui sont déjà accessibles sur votre site.
   Si vous êtes développeur, consultez et construisez la bibliothèque robots.txt open source de Google
2. , qui est également utilisée dans la recherche Google. Vous pouvez utiliser cet outil pour tester les fichiers robots.txt localement sur votre ordinateur.
   Soumettez le fichier robots.txt à GoogleUne fois que vous avez téléchargé et testé votre fichier robots.txt, les robots d’exploration de Google trouveront et commenceront à utiliser votre fichier robots.txt automatiquement. Vous n’avez rien à faire. Si vous avez mis à jour votre fichier robots.txt et que vous devez actualiser la copie mise en cache par Google dès que possible, apprenez

comment soumettre un fichier robots.txt mis à jour

Comment écrire et soumettre un fichier robots.txt | Alien Road
Un fichier robots.txt se trouve à la racine de votre site. Apprenez à créer un fichier robots.txt, consultez des exemples et explorez les règles robots.txt..