Comment interdire l'indexation du site ou des pages ?

Trois instruments masquent le contenu de l’indexation et opèrent à différents niveaux : l’ensemble du site ou une section, une page individuelle ou une partie du texte d’une page.

Site, section ou page

• Disallow dans robots.txt.
• La robots méta-balise avec noindex ou none.
• Autorisation — et Yandex le recommande spécifiquement pour masquer une page d’accueil, avec une raison qui mérite d’être retenue : une page d’accueil bloquée dans robots.txt peut toujours apparaître dans les résultats si d’autres sites y font des liens. Bloquer ne signifie pas masquer.

Pour tout ce qui est réellement restreint, associez l’autorisation à une réponse du serveur 404, 403 ou 410 pour les requêtes non autorisées, afin que la page ne se contente pas de refuser de s’afficher, mais se signale comme indisponible.

Partie du texte d’une page

L’ noindex élément — une extension Yandex, distincte de la méta-balise :

<noindex>texte qui ne doit pas être indexé</noindex>

Deux règles le rendent dangereux en cas de mauvaise utilisation :

• Si la balise fermante est manquante, tout le contenu restant de la page est considéré comme masqué. Une seule balise non fermée peut supprimer le texte d’une page entière de l’index.
• Les balises imbriquées sont ignorées après la première balise fermante, de sorte que l’imbrication ne fonctionne pas comme écrit.

Pour un balisage valide, la forme de commentaire est acceptée : <!--noindex-->…<!--/noindex-->.

Choisir entre eux

Demandez-vous ce qui doit se passer si quelqu’un tape l’URL directement. Si la réponse est « ils doivent la voir, mais elle ne doit pas se positionner » — noindex. Si c’est « le robot ne doit pas perdre de temps ici » — Disallow. Si c’est « personne ne doit voir ceci » — l’autorisation, avec un code d’état approprié. Les trois ne sont pas interchangeables, et l’erreur la plus courante est d’utiliser le deuxième pour le troisième.