Vendredi 14 mars 2025
Avec le fichier robots.txt, les propriétaires de sites disposent d’un moyen simple de contrôler quelles parties d’un site Web sont accessibles aux robots d’exploration. Pour aider davantage les propriétaires de sites à exprimer comment les moteurs de recherche et les robots d’exploration Web peuvent utiliser leurs pages, la communauté impliquée dans le développement des standards du Web
a créé les robots meta balises en 1996, quelques mois seulement après que les balises meta ont été proposées pour HTML (et de surcroît, avant même la fondation de Google). Plus tard, X-Robots-Tag en-têtes de réponse HTTP
ont été ajoutés. Ces instructions sont envoyées avec une URL, de sorte que les robots d'exploration ne peuvent les prendre en compte que s'il ne leur est pas interdit d'explorer l'URL via le fichier robots.txt. Ensemble, ils forment le protocole d'exclusion des robots (REP).
Un regard sur les robots meta
balises Les balises meta (ou éléments) sont un moyen d’inclure des métadonnées lisibles par machine. Les robots
meta balises sont un “type” de balise meta et s’appliquent aux robots d’exploration, y compris ceux des moteurs de recherche. Ils signalent : Le contenu est-il bloqué pour l’indexation ? Les liens sur la page ne doivent-ils pas être suivis lors de l’exploration ? Il est facile de fournir ces informations directement sur la page avec les robots meta balises. Un protocole d'exclusion des robots pour n'importe quelle URL Pour offrir le même niveau de contrôle au contenu non HTML, le X-Robots-Tag ” en-tête de réponse HTTP a été créé. Ces en-têtes HTTP sont également considérés comme faisant partie du REP. L’en-tête prend en charge les mêmes valeurs que la balise meta robots et peut être ajouté à n’importe quel contenu servi en ligne. Outre HTML, Google le prend en charge pour des contenus tels que les PDF, les fichiers de documents et même les images. La plupart de ces formats de fichier n’ont pas de mécanisme équivalent aux balises meta, un en-tête de réponse HTTP est donc utile.
Commencer avec les robots
metabalises et en-têtesLa syntaxe est simple et extensible. Les règles sont généralement mises en œuvre soit par le développeur Web, soit via un système de gestion de contenu (CMS), où les propriétaires de sites peuvent disposer de cases à cocher ou de menus déroulants pour sélectionner leurs préférences. Ces contrôles peuvent cibler un robot d’exploration spécifique, tel que Googlebot, ou, en omettant un nom spécifique, cibler tous les robots d’exploration qui prennent en charge ces valeurs.
Par exemple, les règles suivantes indiquent à tous les robots d’exploration de ne pas utiliser la page associée pour l’indexation :
Sous forme d’une balise meta HTML, sur une page Web : Examiner les balises meta
ou les en-têtes de réponse existants demande un peu plus d’implication et nécessite un examen direct du contenu de la page ou des en-têtes. Vous pouvez afficher les balises meta HTML sur n’importe quelle page soit en consultant le code source de la page dans votre navigateur, soit en utilisant les outils de développement de Chrome pour inspecter la page Sous forme d’un
en-tête de réponse HTTP
Vous pouvez vérifier les en-têtes de réponse HTTP pour des URLs individuelles avec les outils de développement de Chrome, dans l’onglet
- réseau
Autres exemples de ce que vous pouvez faire :Ne pas afficher d’extrait pour cette page ou ce document.Dans l’en-tête HTTP :
ou en HTML :Ne pas indexer cette page dans
ExampleBot-News, sans spécifier de préférence pour les autres.
Ces contrôles spécifient explicitement un robot d’exploration.. - ou ExampleBot:
ne doit pas afficher d’extrait, et de plus, tous les robots d’exploration ne doivent pas suivre les liens de cette page.
Notez que les directives valides les plus restrictives s’appliquent, de sorte que pour.
ExampleBot
la directive serait combinée comme “ | nosnippet, nofollow ou |
Choisir un mécanisme REP Tous ces contrôles sont extensibles par nature. Au fil des ans, les propriétaires de sites, les opérateurs de robots d’exploration et les moteurs de recherche ont travaillé ensemble pour les faire évoluer. Historiquement, cela a commencé avec une poignée de valeurs, notamment | |
, puis plus tard d’autres valeurs comme | fr |
fr
fr
fr
fr fr fr frfr
fr, frfr max-snippet: ont été adoptés. Et parfois, les valeurs sont obsolètes, comme ce fut le cas avec noodp,
DMOZ / Open Directory Project
qui utilisait des extraits avant la fermeture de l’annuaire. Il existe une
multitude de valeurs prises en charge par Google pour les propriétaires de sites, et un nombre similaire provenant d’autres grands opérateurs de robots d’indexation.
Sous l’égide du REP, les propriétaires de sites contrôlent ce qui est exploré et la manière dont les données explorées sont utilisées dans les moteurs de recherche. Ils peuvent le faire à grande échelle pour de grandes parties de sites Web, ou à un niveau très granulaire, pour des pages individuelles, voire pour des images au sein des pages. Ces contrôles sont bien connus, disponibles dans tous les systèmes de gestion de contenu courants, largement pris en charge par les opérateurs commerciaux et utilisés aujourd’hui sur des milliards d’hôtes sur Internet.
Découvrez le reste de la série Robots Refresher :
Comment nous l'appliquons
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Services associés