La plupart des sites contiennent des pages que personne ne devrait trouver dans la recherche : pages de service et d’administration, contenu utile uniquement aux utilisateurs connectés tels que les écrans de paiement et les profils, brouillons et espaces réservés. Yandex explique pourquoi les masquer n’est pas une tâche de maintenance, mais un problème de classement.
Les trois coûts de les laisser crawlables
- Charge inutile sur le site due à leur exploration.
- Le robot met plus de temps à atteindre vos pages de destination — capacité d’exploration dépensée sur des pages qui ne se classeront jamais.
- Si elles sont indexées, elles concurrencent vos pages importantes et déconcertent les utilisateurs.
Yandex ajoute l’observation qui rend cela urgent sur les grands sites : le nombre de ces pages est comparable à, et dépasse souvent, le nombre de pages pour lesquelles il vaut la peine d’attirer des visiteurs.
Découvrir lesquelles sont réellement explorées
Pages interrogeables → Pages exclues, filtrées par faible valeur ou faible demande. Yandex souligne que cette liste contient deux choses différentes :
- Les pages que vous souhaitez voir dans la recherche, qui ont besoin d’être améliorées.
- Les pages jamais destinées aux utilisateurs, que le robot a trouvées quand même — et celles-ci doivent être masquées.
Lire la liste avec cette distinction en tête transforme un rapport source d’anxiété en deux tâches concrètes.
Comment les masquer
L’instrument dépend de l’objectif. Disallow dans robots.txt arrête l’exploration et économise de la capacité. noindex maintient la page hors des résultats tout en permettant au robot de la lire. L’autorisation élimine complètement la question pour les pages qui ne devraient jamais être publiques. Les deux ne doivent pas être combinées sur la même URL — une page bloquée ne peut pas être lue, donc son noindex n’est jamais vu.
La priorité pratique
Sur un site de catalogue, les exclusions à plus haute valeur ajoutée sont les combinaisons de filtres et de tris, les résultats de recherche interne, ainsi que les pages de panier et de comparaison. Cet ensemble est généralement là où va le budget d’exploration, et le bloquer représente le travail d’un seul après-midi avec un effet mesurable sur la rapidité avec laquelle les nouveaux produits apparaissent.
Comment nous l'appliquons
The two-lists reading of the low-value report is how we run this: half the entries are usually pages the client wants and needs to improve, the other half are pages nobody meant to publish. Separating them takes twenty minutes and produces a content plan and a robots.txt change instead of a vague worry about a large number.
Services associés