Diagnostic des erreurs de crawl

Toutes les erreurs de crawl ne constituent pas un problème. Une erreur 404 pour une page que vous avez délibérément supprimée est un comportement correct. L’art consiste à distinguer le choix délibéré de l’erreur accidentelle.

Erreurs nécessitant une action

• Erreur de serveur (5xx), la page existe mais le serveur a échoué. Des erreurs 5xx persistantes entraînent la suppression de l’index.
• Erreur de redirection, chaînes trop longues, boucles ou redirections vers une erreur 404.
• Bloqué par robots.txt sur une page que vous souhaitez voir indexée.
• Soft 404, un message “non trouvé” renvoyé avec le code d’état 200.
• URL soumise marquée comme noindex, le sitemap et la page se contredisent.

États généralement corrects

“Crawlée, actuellement non indexée” signifie souvent que Google a lu la page et a jugé qu’elle ne valait pas la peine d’être stockée ; c’est une question de contenu, pas de technique. “Découverte, actuellement non indexée” indique généralement une priorité de crawl, ce qui est courant sur les grands sites récents. “Page alternative avec balise canonique appropriée” indique que le système fonctionne correctement.

Alien Road recommande : corrigez toujours les erreurs 5xx et de redirection en premier. Elles ne prêtent pas à confusion et s’aggravent : une chaîne de redirection ralentit chaque crawl de ce chemin, et une erreur de serveur peut supprimer discrètement une page qui était bien positionnée depuis des années.