Débogage des URL bloquées

mardi 19 septembre 2006

Vanessa a beaucoup posté ces derniers temps, et je commence à me sentir exclu. Voici donc mon petit conseil de sagesse pour vous : j’ai remarqué que quelques webmasters étaient confus par des erreursbloqué par robots.txtet je voulais partager les étapes que je suis lors du débogage des problèmes
robots.txt :

Une liste de contrôle pratique pour déboguer une URL bloquée

Supposons que vous consultiez les erreurs d’exploration de votre site Web et que vous remarquiez une URL restreinte par robots.txt que vous n’aviez pas l’intention de bloquer :

Vérifiez l’outil d’analyse robots.txt

La première chose à faire est d’aller sur
l’outil d’analyse robots.txt
pour ce site. Assurez-vous de consulter le site correct pour cette URL, en veillant à utiliser le protocole et le sous-domaine appropriés. (Les sous-domaines et les protocoles peuvent avoir leur propre fichier robots.txt, de sorte que https://www.example.com/robots.txt peut être différent de
https://example.com/robots.txt et peut être différent de
https://amanda.example.com/robots.txt.) Collez l’URL bloquée dans la case « Tester les URL par rapport à ce fichier robots.txt ». Si l’outil indique qu’elle est bloquée, vous avez trouvé votre problème. Si l’outil indique qu’elle est autorisée, nous devons approfondir notre enquête.

En haut de l’outil d’analyse robots.txt, jetez un œil au
code d’état HTTP. Si nous signalons autre chose qu’un 200 (Succès) ou un
404 (Introuvable) , il se peut que nous ne puissions pas atteindre votre fichier robots.txt, ce qui arrête notre processus d’exploration. (Notez que vous pouvez voir la dernière fois que nous avons téléchargé votre fichier robots.txt en haut de cet outil. Si vous apportez des modifications à votre fichier, vérifiez cette date et cette heure pour voir si vos modifications ont été apportées après notre dernier téléchargement.)

Vérifier les modifications apportées à votre fichier robots.txt

Si tout semble correct, vous voudrez peut-être vérifier si votre fichier robots.txt a changé depuis que l’erreur s’est produite en consultant la date de dernière modification de votre fichier robots.txt. S’il a été modifié après la date indiquée pour l’erreur dans les erreurs d’exploration, il se peut que quelqu’un ait modifié le fichier de sorte que la nouvelle version ne bloque plus cette URL.

Vérifier les redirections de l’URL

Si vous êtes certain que cette URL n’est pas bloquée, vérifiez si l’URL redirige vers une autre page. Lorsque Googlebot récupère une URL, il vérifie le fichier robots.txt pour s’assurer qu’il est autorisé à accéder à l’URL. Si le fichier robots.txt autorise l’accès à l’URL, mais que l’URL renvoie une redirection, Googlebot vérifie à nouveau le fichier robots.txt pour voir si l’URL de destination est accessible. Si à un moment donné Googlebot est redirigé vers une URL bloquée, il signale qu’il n’a pas pu obtenir le contenu de l’URL d’origine car elle était bloquée par robots.txt.

Parfois, ce comportement est facile à repérer car une URL particulière redirige toujours vers une autre. Mais parfois, cela peut être difficile à déterminer. Par exemple :

• Votre site peut ne pas avoir de fichier robots.txt du tout (et par conséquent, autoriser l’accès à toutes les pages), mais une URL sur le site peut rediriger vers un site différent, qui possède un fichier robots.txt. Dans ce cas, vous pouvez voir des URL bloquées par robots.txt pour votre site (même si vous n’avez pas de fichier robots.txt).
• Votre site peut inviter à l’inscription après un certain nombre de pages vues. Vous avez peut-être bloqué la page d’inscription par un fichier robots.txt. Dans ce cas, l’URL elle-même peut ne pas rediriger, mais si Googlebot déclenche l’invite d’inscription lors de l’accès à l’URL, il sera redirigé vers la page d’inscription bloquée, et l’URL d’origine sera répertoriée dans la page des erreurs d’exploration comme étant bloquée par robots.txt.

Demander de l’aide

Enfin, si vous ne parvenez toujours pas à identifier le problème, vous pouvez publier sur notre
forum
pour obtenir de l’aide. Veillez à inclure l’URL bloquée dans votre message. Il est parfois plus facile pour les autres de remarquer des oublīs que vous auriez pu manquer.

Bonne chance pour le débogage ! Et soit dit en passant — sans rapport avec robots.txt — assurez-vous de ne pas avoir de balises noindex meta en haut de vos pages Web ; celles-ci empêchent également Google d’afficher un site Web dans notre index.