Simplification du test des fichiers robots.txt

Mercredi 16 juillet 2014

Explorer ou ne pas explorer, telle est la question robots.txt.

Créer et maintenir des fichiers robots.txt corrects peut parfois s’avérer difficile. Bien que la plupart des sites trouvent cela facile (conseil : ils n’ont souvent même pas besoin de fichier robots.txt !), trouver les règles au sein d’un grand fichier robots.txt qui bloquent ou bloquaient des URL individuelles peut être assez délicat. Pour simplifier les choses, nous annonçons aujourd’hui une mise à jour
outil de test robots.txt
dans Webmaster Tools.

Vous pouvez trouver l’outil de test mis à jour dans
Webmaster Tools
dans la section Exploration :

Vous y verrez le fichier robots.txt actuel et pourrez tester de nouvelles URL pour voir si leur exploration est refusée. Pour vous guider à travers des règles complexes, il mettra en évidence celle qui a conduit à la décision finale. Vous pouvez apporter des modifications au fichier et les tester également, il vous suffira ensuite de télécharger la nouvelle version du fichier sur votre serveur pour que les modifications prennent effet. Notre site pour développeurs propose
plus d’informations sur les règles robots.txt et la manière dont les fichiers sont traités.

De plus, vous pourrez consulter les anciennes versions de votre fichier robots.txt et voir quand des problèmes d’accès nous empêchent d’explorer. Par exemple, si Googlebot détecte une 500 erreur de serveur pour
le fichier robots.txt

nous suspendrons généralement toute exploration ultérieure du site Web.
Étant donné que certaines erreurs ou avertissements peuvent s’afficher pour vos sites existants, nous vous recommandons de double-vérifier leurs fichiers robots.txt. Vous pouvez également l’associer à d’autres parties de Webmaster Tools : par exemple, vous pouvez utiliser l’outil mis à jour
Fetch as Google tool

pour rendre les pages importantes de votre site Web. Si des URL bloquées sont signalées, vous pouvez utiliser ce testeur robots.txt pour trouver la règle qui les bloque et, bien sûr, l’améliorer ensuite. Un problème courant que nous avons constaté provient d’anciens fichiers robots.txt qui bloquent CSS, JavaScript ou le contenu mobile. Résoudre ce problème est souvent trivial une fois que vous l’avez repéré.
Nous espérons que cet outil mis à jour vous permettra de tester et de maintenir plus facilement le fichier robots.txt. Si vous avez des questions ou avez besoin d’aide pour concevoir un bon ensemble de règles, vous pouvez passer sur!

notre forum d’aide des webmasters Publié parAsaph Arnon