Comment utiliser robots.txt

Samedi 1er mars 2008

A robots.txt
fournit des restrictions aux robots des moteurs de recherche (connus sous le nom de « bots ») qui explorent le Web. Ces bots sont automatisés et, avant d’accéder aux pages d’un site, ils vérifient si un fichier robots.txt existe pour les empêcher d’accéder à certaines pages. Si vous souhaitez protéger certains de vos contenus contre l’indexation par les moteurs de recherche, robots.txt est un outil simple pour cela. Nous souhaitons aujourd’hui aborder la manière de l’utiliser.

Placer Robots.txt

Le fichier robots.txt est un fichier texte contenant un ou plusieurs enregistrements. Le fichier robots.txt doit résider à la racine du domaine et doit s’appeler exactement robots.txt. Un fichier robots.txt situé dans un sous-répertoire n’est pas valide, car les bots ne recherchent ce fichier qu’à la racine du domaine.

Par exemple,
https://www.example.com/robots.txt est un emplacement valide. Mais,
https://www.example.com/mysite/robots.txt ne l’est pas.

Exemple de robots.txt :

Bloquer ou supprimer l’intégralité de votre site Web à l’aide d’un fichier robots.txt

Pour supprimer votre site des moteurs de recherche et empêcher tous les robots de l’explorer à l’avenir, placez le fichier robots.txt suivant à la racine de votre serveur :

Pour supprimer votre site uniquement de Google et empêcher uniquement Googlebot de l’explorer à l’avenir, placez le fichier robots.txt suivant à la racine de votre serveur :

Chaque port doit avoir son propre fichier robots.txt. En particulier, si vous proposez du contenu via http et https, vous aurez besoin d’un fichier robots.txt distinct pour chacun de ces protocoles. Par exemple, pour autoriser Googlebot à indexer toutes les pages http mais aucune page https, vous utiliseriez les fichiers robots.txt ci-dessous.

Pour votre protocole http (https://example.com/robots.txt):

Pour le protocole https (https://yourserver.com/robots.txt):

Autoriser l’accès complet à tous les robots

(solution alternative : créez simplement un fichier « /robots.txt » vide ou n’en utilisez pas du tout.)

Bloquer ou supprimer des pages à l’aide d’un fichier robots.txt

Vous pouvez utiliser un fichier robots.txt pour empêcher Googlebot d’explorer les pages de votre site.

Par exemple, si vous créez manuellement un fichier robots.txt pour empêcher Googlebot d’explorer toutes les pages d’un répertoire particulier (par exemple, private), vous utiliseriez l’entrée robots.txt suivante :

Pour empêcher Googlebot d’explorer tous les fichiers d’un type de fichier spécifique (par exemple, .gif), vous utiliseriez l’entrée robots.txt suivante :

Pour empêcher Googlebot d’explorer toute URL incluant ? (plus précisément, toute URL commençant par votre nom de domaine, suivi de n’importe quelle chaîne, suivi d’un point d’interrogation, suivi de n’importe quelle chaîne) :

Bien que nous n’explorions ni n’indexions le contenu des pages bloquées par robots.txt, nous pouvons toujours explorer et indexer les URL si nous les trouvons sur d’autres pages du Web. Par conséquent, l’URL de la page ou d’autres informations accessibles au public telles que le texte d’ancrage dans les liens vers le site peuvent apparaître dans les résultats de recherche Google. Cependant, aucun contenu de vos pages ne sera exploré, indexé ou affiché.

Dans le cadre des outils pour webmasters, Google fournit
outil d’analyse robots.txt. L’outil lit le fichier robots.txt de la même manière que Googlebot et vous donne des résultats pour les user-agents Google. Nous vous suggérons vivement de l’utiliser. Avant de créer un fichier robots.txt, vous devez réfléchir à la quantité d’informations que vous souhaitez partager ou garder privées. N’oubliez pas qu’un moteur de recherche est un excellent moyen de rendre votre contenu plus accessible au public. En utilisant correctement robots.txt, les utilisateurs seront ravis de visiter votre site Web via les moteurs de recherche, tout en vous permettant d’empêcher l’exposition de vos informations privées.

Par Chao Ma, In Hyuk Seok