Parler la langue des robots

Jeudi 27 mars 2008

Nous savons tous
à quel point Googlebot est sympathique.
Et comme tous les robots bienveillants, Googlebot nous écoute et respecte nos souhaits concernant les parties de
notre site que nous ne voulons pas voir explorer. Nous pouvons simplement donner à Googlebot un fichier robots.txt expliquant ce
que nous voulons, et il s’exécutera avec plaisir. Mais que se passe-t-il si l’idée de communiquer
directement avec Googlebot vous intimide ? Après tout, nous ne parlons pas tous couramment la langue des
robots.txt. C’est pourquoi
nous sommes ravis de vous présenter votre traducteur de robots personnel : le générateur Robots.txt dans
Webmaster Tools.
Il est conçu pour vous offrir un moyen simple et interactif de créer un fichier robots.txt. Cela peut être aussi
simple que d’entrer les fichiers et répertoires que vous ne souhaitez pas voir explorés par les robots.

Ou, si nécessaire, vous pouvez créer des règles fines pour des robots spécifiques et des zones de votre site.

Une fois que vous en avez terminé avec le générateur, vous pouvez tester les effets de votre nouveau fichier robots.txt avec
notre
outil d’analyse robots.txt,
une fois terminé, enregistrez simplement le fichier généré dans le répertoire racine de votre site,
et vous êtes prêt. Il y a quelques points importants à garder à l’esprit concernant les fichiers robots.txt :

• Tous les moteurs de recherche ne prennent pas en charge toutes les extensions des fichiers robots.txt
  Le générateur Robots.txt crée des fichiers que Googlebot comprendra, et la plupart des autres grands
  robots les comprendront également. Mais il est possible que certains robots ne comprennent pas toutes
  les fonctionnalités robots.txt utilisées par le générateur.
• Robots.txt est simplement une requête
  Bien que cela soit hautement improbable de la part d’un grand moteur de recherche, certains robots peu scrupuleux
  peuvent ignorer le contenu de robots.txt et explorer les zones bloquées malgré tout. Si vous avez du contenu
  sensible que vous devez protéger complètement, vous devez le placer derrière une protection par mot de passe plutôt
  que de vous fier à robots.txt.

Nous espérons que ce nouvel outil vous aidera à communiquer vos souhaits à Googlebot et aux autres robots qui visitent
votre site. Si vous souhaitez en savoir plus sur les fichiers robots.txt, consultez
notre Centre d’aide. Et si vous souhaitez discuter
de robots.txt et des robots avec d’autres webmasters, visitez notre
Groupe d’aide Google Webmaster.

Écrit par Sean Harding, Équipe Webmaster Tools