Mardi 3 juin 2008
Les éditeurs web nous demandent souvent comment maximiser leur visibilité sur le web. Une grande partie de cela est liée à l’optimisation pour les moteurs de recherche — s’assurer que le contenu d’un éditeur apparaît sur tous les moteurs de recherche.
Cependant, il y a des cas où les éditeurs ont besoin de communiquer plus d’informations aux moteurs de recherche, comme le fait qu’ils ne veulent pas que certains contenus apparaissent dans les résultats de recherche. Et pour cela, ils utilisent ce qu’on appelle le
Protocole d’exclusion des robots (REP), qui permet aux éditeurs de contrôler la manière dont les moteurs de recherche accèdent à leur site : qu’il s’agisse de contrôler la visibilité de leur contenu sur l’ensemble du site (via robots.txt) ou à un niveau beaucoup plus granulaire pour des pages individuelles (via des balises meta ).
Depuis son introduction au début des années 90, le REP est devenu le standard de fait par lequel les éditeurs web spécifient quelles parties de leur site ils souhaitent rendre publiques et quelles parties ils souhaitent garder privées. Aujourd’hui, des millions d’éditeurs utilisent le REP comme un moyen simple et efficace de communiquer avec les moteurs de recherche. Sa force réside dans sa flexibilité à évoluer en parallèle avec le web, son implémentation universelle à travers les principaux moteurs de recherche et tous les principaux robots, et dans la façon dont il fonctionne pour tout éditeur, quelle que soit sa taille.
Bien que le REP soit observé par pratiquement tous les moteurs de recherche, nous ne nous étions jamais réunis pour détailler comment nous interprétons chacun les différentes balises. Au cours des dernières années, nous avons travaillé avec Microsoft et Yahoo! pour proposer des standards tels que
Sitemaps
et offrir des outils supplémentaires pour les webmasters. Depuis l’annonce initiale, nous avons fourni, et continuerons de fournir, de nouvelles améliorations basées sur les retours de la communauté.
Aujourd’hui, dans ce même esprit de simplification de la vie des webmasters, nous publions une documentation détaillée sur la façon dont nous implémentons le REP. Cela fournira une implémentation commune pour les webmasters et permettra à tout éditeur de savoir plus facilement comment ses règles REP seront traitées par les trois principaux fournisseurs de recherche, rendant le REP plus intuitif et convivial pour encore plus d’éditeurs sur le web.
Alors, sans plus attendre…
Règles REP courantes
La liste suivante présente toutes les principales fonctionnalités REP actuellement implémentées par Google, Microsoft et Yahoo!. Pour chaque fonctionnalité, vous verrez ce qu’elle fait et comment vous devez la communiquer.
Chacune de ces règles peut être spécifiée pour s’appliquer à tous les robots d’indexation ou à des robots spécifiques en ciblant des agents utilisateurs particuliers, ce qui correspond à la façon dont chaque robot s’identifie. Outre l’identification par agent utilisateur, chacun de nos robots prend également en charge l’authentification basée sur le DNS inverse pour vous permettre de vérifier l’identité du robot.
Règles Robots.txt
| Règle | Impact | Cas d’utilisation |
Disallow | Indique à un robot de ne pas indexer votre site — le fichier robots.txt de votre site doit cependant toujours être exploré pour trouver cette règle, mais les pages non autorisées ne seront pas explorées | Page ‘Pas d’exploration’ d’un site. Cette règle dans la syntaxe par défaut empêche l’exploration de chemin(s) spécifique(s) d’un site. |
Allow | Indique à un robot les pages spécifiques de votre site que vous souhaitez voir indexées afin de pouvoir l’utiliser en combinaison avec Disallow | Ceci est particulièrement utile en conjonction avec des clauses Disallow, où une grande section d’un site est interdite à l’exception d’une petite section à l’intérieur |
$ Prise en charge des caractères génériques | Indique à un robot de faire correspondre tout ce qui se trouve à la fin d’une URL — grand nombre de répertoires sans spécifier de pages particulières | Fichiers ‘Pas d’exploration’ avec des motifs spécifiques, par exemple, des fichiers avec certains types de fichiers qui ont toujours une certaine extension, disons pdf |
* Prise en charge des caractères génériques | Indique à un robot de faire correspondre une séquence de caractères | URLs ‘Pas d’exploration’ avec certains motifs, par exemple, interdire les URLs avec des identifiants de session ou d’autres paramètres superflus |
Sitemaps Emplacement | Indique à un robot où il peut trouver vos Sitemaps | Pointez vers d’autres emplacements où des flux existent pour aider les robots à trouver des URLs sur un site |
HTML meta règles
| Règle | Impact | Cas d’utilisation |
noindex meta balise | Indique à un robot de ne pas indexer une page donnée | Ne pas indexer la page. Cela permet aux pages explorées d’être tenues hors de l’index. |
nofollow meta balise | Indique à un robot de ne pas suivre un lien vers un autre contenu sur une page donnée | Empêcher les zones d’écriture publique d’être abusées par des spammeurs cherchant du crédit de lien. En utilisantnofollow vous faites savoir au robot que vous ne tenez pas compte de tous les liens sortants de cette page |
nosnippet meta balise | Indique à un robot de ne pas afficher d’extraits dans les résultats de recherche pour une page donnée | Ne présenter aucun extrait pour la page dans les résultats de recherche |
noarchive meta balise | Indique à un moteur de recherche de ne pas afficher de lien “en cache” pour une page donnée | Ne pas mettre à la disposition des utilisateurs une copie de la page provenant du cache du moteur de recherche |
noodp meta balise | Indique à un robot de ne pas utiliser un titre et un extrait de l’Open Directory Project pour une page donnée | Ne pas utiliser le titre et l’extrait de l’ODP (Open Directory Project) pour cette page |
Ces règles s’appliquent à toutes les formes de contenu. Elles peuvent être placées soit dans le HTML d’une page, soit dans l’en-tête HTTP pour le contenu non HTML, par exemple PDF, vidéo, etc., en utilisant un
X-Robots-Tag. Vous pouvez en lire plus à ce sujet ici :
X-Robots-Tag Article ou dans
ru
sur l’utilisation des robots et
notre série d’articles meta balises.
Autres règles REP
Les règles énumérées ci-dessus sont utilisées par Microsoft, Google et Yahoo!, mais peuvent ne pas être implémentées par tous les autres moteurs de recherche. De plus, les règles suivantes sont prises en charge par Google, mais ne le sont pas par les trois comme celles ci-dessus :
unavailable_after meta balise – Indique à un robot d’indexation
quand une page doit “expirer”,c’est-à-dire après quelle date elle ne doit plus apparaître dans les résultats de recherche.
noimageindex meta balise – Indique à un robot d’indexation
de ne pas indexer les images pour une page donnée
dans les résultats de recherche.
notranslate meta balise – Indique à un robot d’indexation
de ne pas traduire le contenu d’une page dans différentes langues
pour les résultats de recherche.
À l’avenir, nous prévoyons de continuer à travailler ensemble pour veiller à ce qu’à mesure que de nouvelles utilisations du REP apparaissent, nous puissions faire en sorte qu’il soit aussi facile que possible pour les webmasters de les utiliser. Restez donc à l’écoute pour en savoir plus !
En savoir plus
Vous pouvez en savoir plus sur robots.txt dans notre
documentation et sur
le Centre d’aide pour les webmasters de Google,qui contient de nombreuses informations utiles, notamment :
- Comment créer un fichier robots.txt
- Descriptions de chaque user-agent utilisé par Google
- Comment utiliser la correspondance de motifs (pattern matching)
- À quelle fréquence nous réanalysons votre fichier robots.txt
Nous avons également publié plusieurs articles sur notre blog pour webmasters concernant robots.txt qui pourraient vous être utiles, tels que :
Il existe également une
liste utile des robots
utilisés par les principaux moteurs de recherche.
Pour voir ce que nos collègues ont à dire, vous pouvez également consulter les articles de blog publiés par
Yahoo! et
Microsoft.
Comment nous l'appliquons
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Services associés