Mettez à jour votre fichier robots.txt

Pour mettre à jour les règles de votre fichier robots.txt existant, téléchargez une copie de votre fichier robots.txt depuis votre site et effectuez les modifications nécessaires. Ensuite, téléchargez le fichier mis à jour sur votre site.

Téléchargez votre fichier robots.txt

Vous pouvez télécharger votre fichier robots.txt de différentes manières, par exemple :

• Accédez à votre fichier robots.txt, par exemple https://example.com/robots.txt
  et copiez son contenu dans un nouveau fichier texte sur votre ordinateur. Assurez-vous de suivre les directives relatives au
  format de fichier
  lors de la création du nouveau fichier local.
• Téléchargez une copie réelle de votre fichier robots.txt avec un outil comme curl. Par exemple :
• Utilisez le
  rapport robots.txt
  dans la Search Console pour copier le contenu de votre fichier robots.txt, que vous pourrez ensuite coller dans un fichier sur votre ordinateur.

Modifiez votre fichier robots.txt

Ouvrez le fichier robots.txt que vous avez téléchargé depuis votre site dans un éditeur de texte et effectuez les modifications nécessaires aux règles. Assurez-vous d’utiliser la
syntaxe correcte
et d’enregistrer le fichier avec un encodage UTF-8.

Téléchargez votre fichier robots.txt

Téléchargez votre nouveau fichier robots.txt dans le répertoire racine de votre site en tant que fichier texte nommé robots.txt. La façon dont vous téléchargez un fichier sur votre site dépend fortement de la plateforme et du serveur. Consultez nos conseils pour obtenir de l’aide sur
le téléchargement d’un fichier robots.txt sur votre site.

Actualisez le cache robots.txt de Google

Pendant le processus d’exploration automatique, les robots d’exploration de Google remarquent les modifications que vous avez apportées à votre fichier robots.txt et mettent à jour la version mise en cache toutes les 24 heures. Si vous devez mettre à jour le cache plus rapidement, utilisez la fonction “Demander une nouvelle exploration” du
rapport robots.txt.