Un fichier robots.txt est un document texte standard situé dans le répertoire racine d’un site web qui fournit des instructions aux robots d’exploration web sur les pages qu’ils doivent ou ne doivent pas visiter. Il sert d’outil de communication principal entre un webmaster et les robots des moteurs de recherche, aidant à gérer la manière dont les ressources sont utilisées pendant le processus de découverte. Bien qu’il s’agisse d’une partie fondamentale du SEO technique, de nombreux propriétaires de sites comprennent mal ses limites, notamment en ce qui concerne l’indexation des pages et la sécurité.
Quel est le but d’un fichier robots.txt ?
L’objectif principal d’un fichier robots.txt est de gérer le budget d’exploration. Les moteurs de recherche comme Google et Bing ne disposent pas de ressources infinies pour explorer chaque page sur Internet chaque jour. Ils allouent une quantité spécifique de temps et d’énergie à chaque site web, appelée budget d’exploration. Si votre site contient des milliers de pages à faible valeur, telles que des résultats de recherche internes, des paramètres de filtre ou du contenu en double, les robots pourraient gaspiller leur temps sur celles-ci au lieu de trouver vos articles ou produits les plus importants.
En utilisant un fichier robots.txt, vous pouvez éloigner les robots des zones administratives, des dossiers temporaires ou des requêtes de recherche sensibles. Cela garantit que le robot d’exploration consacre son temps au contenu de haute qualité que vous souhaitez réellement voir apparaître dans les résultats de recherche. Il est important de se rappeler que ces fichiers sont publics ; n’importe qui peut voir vos règles en ajoutant /robots.txt à votre domaine. Par conséquent, vous ne devriez jamais utiliser ce fichier pour masquer des informations privées ou des répertoires sensibles aux utilisateurs.
Comment structurer correctement un fichier robots.txt ?
Un fichier robots.txt standard utilise une syntaxe simple composée de directives et de valeurs. Chaque ensemble d’instructions commence par l’identification du robot auquel il s’applique, suivi des règles spécifiques pour ce robot. Le fichier doit être nommé exactement robots.txt, être entièrement en minuscules et placé dans le répertoire de niveau supérieur de votre serveur web. S’il est placé dans un sous-dossier, les moteurs de recherche ne le chercheront pas et supposeront qu’aucune règle n’existe.
Les composants de base du fichier incluent les directives suivantes :
- User-agent : Identifie le robot d’exploration auquel la règle s’applique (par exemple, Googlebot, Bingbot ou * pour tous).
- Disallow : Spécifie un répertoire ou une page que le robot d’exploration ne doit pas visiter.
- Allow : Fournit une exception à une règle Disallow, permettant à un sous-dossier spécifique d’être exploré.
- Sitemap : Indique au robot d’exploration l’emplacement de votre sitemap XML pour faciliter la découverte.
Dans un compte typique, un fichier robots.txt simple pourrait ressembler à ceci : User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml Cela indique à tous les robots de rester en dehors de la zone d’administration de WordPress mais leur permet d’accéder au fichier AJAX, qui est souvent nécessaire à la fonctionnalité du site.
Pourquoi Google indexe-t-il toujours les pages bloquées par robots.txt ?
L’un des points de confusion les plus courants en SEO est la différence entre l’exploration et l’indexation. Robots.txt contrôle l’exploration, pas l’indexation. Si Google trouve un lien vers une page de votre site à partir d’une source externe, il sait que la page existe. Même si votre fichier robots.txt interdit à Google de visiter cette page, le moteur de recherche pourrait toujours indexer l’URL en fonction des informations qu’il recueille à partir du lien externe.
Cela conduit à un problème spécifique : si vous souhaitez garder une page hors des résultats de recherche complètement, vous devez utiliser une balise meta ‘noindex’. Cependant, une balise ‘noindex’ ne fonctionne que si le moteur de recherche peut explorer la page pour voir la balise. Si vous bloquez la page dans robots.txt, le robot ne visite jamais la page, ne voit jamais l’instruction ‘noindex’ et la page peut rester dans les résultats de recherche. Pour qu’une page soit supprimée via ‘noindex’, elle doit être accessible au robot d’exploration.
Erreurs courantes de robots.txt qui nuisent aux classements de recherche
Une erreur d’un seul caractère dans votre fichier robots.txt peut avoir des conséquences graves. Lors des migrations de sites web ou des phases de développement, il est courant que les développeurs utilisent ‘Disallow: /’ pour empêcher un site de préproduction d’être indexé. Cette directive bloque tous les robots d’exploration de chaque page du site. Si ce code est accidentellement déplacé vers le serveur de production en direct, l’ensemble de votre site web finira par disparaître des résultats de recherche car les robots sont invités à cesser de visiter.
Une autre erreur fréquente consiste à bloquer les ressources internes telles que les fichiers CSS et JavaScript. Historiquement, les moteurs de recherche ne s’intéressaient qu’au contenu textuel. Aujourd’hui, Googlebot rend les pages comme un navigateur moderne pour évaluer la mise en page, la compatibilité mobile et l’expérience utilisateur. Si votre robots.txt bloque les dossiers contenant vos styles ou scripts, le moteur de recherche voit une version cassée de votre site, ce qui peut entraîner des classements inférieurs et des erreurs de ‘convivialité mobile’ dans les consoles de recherche.
La sensibilité à la casse est un autre domaine où des erreurs se produisent. Bien que les directives comme ‘User-agent’ ne soient pas sensibles à la casse, les chemins vers les fichiers et les dossiers le sont souvent. Par exemple, ‘Disallow: /Private/’ ne bloquera pas un dossier nommé ‘/private/’. Il est recommandé d’utiliser des minuscules pour tous les noms de fichiers et de dossiers sur votre serveur afin d’éviter ces conflits techniques.
Gestion de robots.txt pour le commerce électronique et les grands sites web
Les grands sites web, comme une boutique Shopify vendant des milliers d’articles de vêtements, sont confrontés à des défis uniques. Les plateformes de commerce électronique génèrent souvent un nombre massif d’URL via une navigation à facettes, comme des filtres pour la couleur, la taille ou la fourchette de prix. Ces pages filtrées contiennent souvent du contenu en double qui n’a pas besoin d’être indexé. Sans une stratégie robots.txt appropriée, ces sites peuvent facilement épuiser leur budget d’exploration sur des paramètres d’URL inutiles.
Par exemple, vous pourriez utiliser une règle comme ‘Disallow: /*?*’ pour bloquer toutes les URL contenant un point d’interrogation, ce qui signifie souvent un paramètre de suivi ou un filtre. Cependant, vous devez faire attention à ne pas bloquer les pages essentielles qui utilisent également des paramètres. Chez Alien Road, nous suggérons d’examiner vos journaux de requêtes de recherche internes pour identifier quels modèles d’URL sont explorés le plus fréquemment et déterminer s’ils apportent une réelle valeur aux utilisateurs de recherche.
Comment tester et valider votre fichier robots.txt ?
Avant d’apporter des modifications à votre site en direct, vous devez toujours valider vos règles. Google fournit un outil de test Robots.txt dans l’ancienne version de la Search Console qui vous permet de coller votre code et de tester des URL spécifiques contre lui. Cela vous aide à voir exactement quelles règles bloquent quelles pages. Il existe également diverses extensions de navigateur tierces et des validateurs en ligne qui peuvent mettre en évidence les erreurs de syntaxe ou les conflits logiques.
Un modèle courant pour la validation comprend ces étapes :
- Vérifiez que le fichier est accessible à yourdomain.com/robots.txt.
- Assurez-vous qu’il n’y a pas de règles ‘Disallow: /’ à moins que vous n’ayez l’intention de bloquer tout le site.
- Confirmez que vos dossiers CSS et JS ne sont pas bloqués.
- Vérifiez que l’URL de votre sitemap XML est correctement répertoriée à la fin du fichier.
- Testez vos pages de produit ou de destination les plus importantes pour vous assurer qu’elles sont autorisées.
Par où commencer cette semaine
Votre première étape devrait être de visiter l’adresse /robots.txt de votre propre site web pour voir quelles instructions sont actuellement en direct. Vérifiez votre rapport ‘Indexation’ dans la Google Search Console pour tout avertissement indiquant ‘Indexée, bien que bloquée par robots.txt’. Cela indique que vous bloquez des pages que Google juge suffisamment importantes pour être indexées de toute façon, ce qui est un signe d’erreur logique dans votre stratégie. Si vous les trouvez, évaluez si vous devez supprimer le blocage ou ajouter une balise ‘noindex’ tout en autorisant l’exploration. Enfin, assurez-vous que votre sitemap est correctement lié pour aider les robots d’exploration à naviguer efficacement sur votre site.
Continuer la lecture : SEO (Optimisation pour les moteurs de recherche) · SEO