Netzwerk- und DNS-Fehler für Google-Crawler beheben

Netzwerk- und DNS-Fehler haben schnelle, negative Auswirkungen darauf, ob Google eine URL erfolgreich crawlen kann. Google behandelt Netzwerk-Timeouts, Verbindungsabbrüche und DNS-Fehler ähnlich wie
5xx Serverfehler. Bei Netzwerkfehlern verlangsamt sich das Crawling sofort, da ein Netzwerkfehler ein Zeichen dafür ist, dass der Server die Last möglicherweise nicht bewältigen kann. Da Google den Server, auf dem die Website gehostet wird, nicht erreichen konnte, hat Google auch keine Inhalte vom Server erhalten.

Für die Google Suche bedeutet das Fehlen von Inhalten, dass Google die gecrawlten URLs nicht indexieren kann und bereits indexierte URLs, die nicht erreichbar sind, innerhalb weniger Tage aus dem Google-Index entfernt werden. Die Search Console kann für jeden entsprechenden Fehler Warnungen generieren.

Netzwerkfehler beheben

Diese Fehler treten auf, bevor Google mit dem Crawlen einer URL beginnt oder während Google die URL crawlt. Da die Fehler auftreten können, bevor der Server antworten kann, und es daher keinen Statuscode gibt, der auf Probleme hinweisen könnte, kann die Diagnose dieser Fehler schwieriger sein. Um Timeout- und Verbindungsabbruchfehler zu beheben:

• Überprüfen Sie Ihre Firewall-Einstellungen und Protokolle. Es könnte eine zu breit gefasste Blockierregel geben. Stellen Sie sicher, dass
  Google IP-Adressen
  nicht durch eine Firewall-Regel blockiert werden.
• Überwachen Sie den Netzwerkverkehr. Verwenden Sie Tools wie
  tcpdump und
  Wireshark um TCP-Pakete zu erfassen und zu analysieren, und suchen Sie nach Anomalien, die auf eine bestimmte Netzwerkkomponente oder ein Servermodul hinweisen.
• Wenn Sie nichts Verdächtiges finden können, kontaktieren Sie Ihren Hosting-Anbieter.

Der Fehler kann in jeder Serverkomponente liegen, die den Netzwerkverkehr verarbeitet. Zum Beispiel können überlastete Netzwerkschnittstellen Pakete verwerfen, was zu Timeouts (Unfähigkeit, eine Verbindung herzustellen) und Verbindungsabbrüchen führt (RST Paket gesendet, weil ein Port versehentlich geschlossen wurde).

DNS-Fehler beheben

DNS-Fehler werden am häufigsten durch Fehlkonfigurationen verursacht, können aber auch durch eine Firewall-Regel verursacht werden, die Google DNS-Abfragen blockiert. Um DNS-Fehler zu beheben, gehen Sie wie folgt vor:

• Überprüfen Sie Ihre Firewall-Regeln. Stellen Sie sicher, dass
  keine der Google-IPs
  durch eine Firewall-Regel blockiert werden und dass sowohl UDP als auch TCP
  Anfragen erlaubt sind.
• Überprüfen Sie Ihre DNS-Einträge. Überprüfen Sie doppelt, dass Ihre A und
  CNAME Einträge auf die richtigen IP-Adressen bzw. den Hostnamen zeigen. Zum Beispiel:
• Überprüfen Sie, ob alle Ihre Nameserver auf die korrekten IP-Adressen Ihrer Website zeigen. Zum Beispiel:
• Wenn Sie in den letzten 72 Stunden Änderungen an Ihrer DNS-Konfiguration vorgenommen haben, müssen Sie möglicherweise warten, bis sich Ihre Änderungen im globalen DNS-Netzwerk verbreitet haben. Um die Verbreitung zu beschleunigen, können Sie
  den Public DNS-Cache von Google leeren.
• Wenn Sie Ihren eigenen DNS-Server betreiben, stellen Sie sicher, dass er einwandfrei funktioniert und nicht überlastet ist.