Directives Disallow et Allow

Disallow empêche l’exploration de sections ou de pages ; Allow les autorise. Yandex liste ce qui se trouve derrière Disallow : les pages contenant des données confidentielles, des résultats de recherche interne, des statistiques de trafic, des doublons, des journaux et des pages de service de base de données.

La recommandation que tout le monde rate

Pour les pages dont les adresses comportent des paramètres GET, Yandex recommande Clean-param plutôt que Disallow, et explique pourquoi : avec Disallow, il se peut qu’il ne parvienne pas à identifier le pendant sans paramètre du doublon, et certaines des métriques accumulées des pages bloquées sont perdues. Le blocage rejette les signaux ; Clean-param les consolide sur l’adresse canonique.

C’est une réponse foncièrement différente de celle que donnent la plupart des audits techniques, et elle s’applique à la plus grande catégorie d’URL indésirables sur tout site commercial : balises de suivi, ordres de tri, identifiants de session.

Modèles

Disallow: /            # tout le site
Disallow: /catalogue   # tout ce qui commence par /catalogue
Disallow: /page?       # tout ce dont l'URL contient des paramètres après /page

Autoriser en combinaison

User-agent: Yandex
Allow: /cgi-bin
Disallow: /

Tout est bloqué sauf les chemins commençant par /cgi-bin. Cette inversion — tout bloquer, en autoriser certains — est la bonne approche pour un environnement de staging ou une application où seules quelques sections doivent être explorées, et elle est bien plus sûre que d’énumérer chaque répertoire à exclure.

Ce que Disallow ne fait pas

Il ne supprime pas une page des résultats de recherche. Une page bloquée peut toujours être listée. Pire encore, bloquer une page empêche le robot de lire un noindex qui s’y trouve, de sorte que les deux instruments ne doivent jamais être combinés sur la même URL.

Avant le déploiement

Passez les URL prévues au crible de l’analyseur — à la fois celles qui doivent être bloquées et celles qui ne doivent surtout pas l’être. Une règle dotée d’une précision erronée reste invisible jusqu’à ce que le trafic disparaisse.