Déboguer les erreurs réseau et DNS pour les robots d'exploration de Google

Les erreurs réseau et DNS ont des effets rapides et négatifs sur la capacité de Google à explorer une URL avec succès. Google traite les délais d’attente réseau, les réinitialisations de connexion et les erreurs DNS de manière similaire aux
5xx erreurs de serveur. En cas d’erreurs réseau, l’exploration commence immédiatement à ralentir, car une erreur réseau est un signe que le serveur peut ne pas être en mesure de gérer la charge de service. Comme Google n’a pas pu atteindre le serveur hébergeant le site, Google n’a reçu aucun contenu du serveur.

Pour la recherche Google, l’absence de contenu signifie que Google ne peut pas indexer les URL explorées, et les URL déjà indexées qui sont inaccessibles seront supprimées de l’index de Google en quelques jours. La Search Console peut générer des erreurs pour chaque erreur respective.

Déboguer les erreurs réseau

Ces erreurs se produisent avant que Google ne commence à explorer une URL ou pendant que Google explore l’URL. Comme les erreurs peuvent se produire avant que le serveur ne puisse répondre et qu’il n’y a donc aucun code d’état pouvant indiquer des problèmes, le diagnostic de ces erreurs peut être plus difficile. Pour déboguer les erreurs de délai d’attente et de réinitialisation de connexion :

• Examinez vos paramètres et journaux de pare-feu. Il peut y avoir une règle de blocage trop large. Assurez-vous que
  les adresses IP de Google
  ne sont bloquées par aucune règle de pare-feu.
• Observez le trafic réseau. Utilisez des outils comme
  tcpdump et
  Wireshark pour capturer et analyser les paquets TCP, et recherchez des anomalies qui pointent vers un composant réseau ou un module de serveur spécifique.
• Si vous ne trouvez rien de suspect, contactez votre société d’hébergement.

L’erreur peut se trouver dans n’importe quel composant serveur qui gère le trafic réseau. Par exemple, des interfaces réseau surchargées peuvent abandonner des paquets, entraînant des délais d’attente (incapacité à établir une connexion) et des réinitialisations de connexion (RST paquet envoyé parce qu’un port a été fermé par erreur).

Déboguer les erreurs DNS

Les erreurs DNS sont le plus souvent causées par une mauvaise configuration, mais elles peuvent également être causées par une règle de pare-feu qui bloque les requêtes DNS de Google. Pour déboguer les erreurs DNS, procédez comme suit :

• Inspectez vos règles de pare-feu. Assurez-vous qu’aucune
  des IP de Google
  n’est bloquée par une règle de pare-feu, et que les requêtes UDP et TCP
  sont autorisées.
• Vérifiez vos enregistrements DNS. Vérifiez deux fois que vos enregistrements A et
  CNAME pointent vers les bonnes adresses IP et le bon nom d’hôte, respectivement. Par exemple :
• Vérifiez que tous vos serveurs de noms pointent vers les adresses IP correctes de votre site. Par exemple :
• Si vous avez effectué des modifications dans votre configuration DNS au cours des dernières 72 heures, vous devrez peut-être attendre que vos modifications se propagent sur le réseau DNS mondial. Pour accélérer la propagation, vous pouvez
  vider le cache DNS public de Google.
• Si vous exécutez votre propre serveur DNS, assurez-vous qu’il est sain et qu’il n’est pas surchargé.