Sie beheben Sitemap-Abruffehler, indem Sie die Grundursache im Bericht zu den Sitemaps der Google Search Console (GSC) identifizieren und sicherstellen, dass die URL für den Googlebot zugänglich ist. Wenn GSC einen Status ‘Konnte nicht abgerufen werden’ oder ‘Parsing-Fehler’ meldet, deutet dies darauf hin, dass Google auf ein Hindernis gestoßen ist, das das Lesen Ihrer XML-Datei verhindert. Dies liegt oft an serverseitigen Konfigurationen, falscher Dateiformatierung oder vorübergehenden Verbindungsproblemen, die den Crawler blockieren.
Warum kann Google Ihre Sitemap nicht abrufen?
Die Google Search Console stellt spezifische Fehlercodes bereit, die Ihnen bei der Diagnose des Problems helfen. Ein ‘Konnte nicht abgerufen werden’-Fehler tritt häufig auf, weil Ihr Webserver einen 4xx- oder 5xx-HTTP-Statuscode zurückgibt, wenn Google versucht, auf die Datei zuzugreifen. Dies blockiert den Crawler daran, Ihre Inhalte zu erreichen.
Wenn Ihre Serverkonfiguration beispielsweise eine strenge Firewall hat, könnte sie den Googlebot fälschlicherweise als bösartigen Akteur identifizieren. Dies führt zu einem 403 Forbidden-Fehler. Das Überprüfen Ihrer Serverprotokolle auf diese spezifischen Zugriffsversuche ist eine Standardmethode, um festzustellen, ob Ihre Sicherheitseinstellungen zu aggressiv sind. Darüber hinaus können intermittierende DNS-Probleme zu vorübergehenden Abruffehlern führen, die sich von selbst beheben, aber anhaltende Fehler deuten auf ein tieferliegendes Infrastrukturproblem hin.
Ein weiterer häufiger Übeltäter ist eine Weiterleitungskette. Wenn Ihre Sitemap-URL über mehrere Seiten weiterleitet, bevor sie die endgültige XML-Datei erreicht, kann es bei Google zu einem Timeout kommen, bevor der Inhalt erfolgreich abgerufen wird. Stellen Sie immer sicher, dass Ihre Sitemap-URL direkt zur Datei führt, ohne unnötige Weiterleitungen. Wenn Sie außerdem ein CDN verwenden, stellen Sie sicher, dass der Cache keine veraltete oder beschädigte Version der XML-Datei bereitstellt, was zu Status-Diskrepanzen führen kann.
Berücksichtigen Sie schließlich den geografischen Standort Ihres Servers. Wenn Ihr Hosting-Anbieter strenge Geo-Blocking-Regeln aktiviert hat, könnte der Googlebot je nach IP-Bereich, den er für diesen spezifischen Crawl verwendet, daran gehindert werden, auf die Dateien zuzugreifen. Die Überprüfung der Zugriffskontrolllisten Ihres Servers offenbart oft diese versteckten Blockaden.
Häufige Ursachen für Sitemap-Parsing-Fehler
Parsing-Fehler treten auf, wenn die Struktur Ihrer XML-Datei nicht dem erforderlichen Protokoll entspricht. Wenn Ihre Sitemap ungültige Zeichen, defekte Tags oder eine Nicht-UTF-8-Kodierung enthält, schlägt der Parser fehl. Diese Fehler verhindern, dass Google die Liste der in der Datei enthaltenen URLs verarbeitet.
Viele Entwickler stoßen auf diese Probleme, wenn sie Sitemaps dynamisch mithilfe von Plugins generieren. Wenn das Plugin es versäumt, versteckte Zeichen zu entfernen oder Sonderzeichen wie kaufmännische Und-Zeichen nicht ordnungsgemäß zu maskieren, wird die gesamte Datei unlesbar. Auch die manuelle Bearbeitung von XML-Dateien führt häufig zu Syntaxfehlern, die verborgen bleiben, bis Sie versuchen, sie einzureichen.
Achten Sie bei der dynamischen Generierung auf Leerzeichen vor der XML-Deklaration. Selbst eine einzige leere Zeile am Anfang der Datei kann dazu führen, dass der Parser einen Fehler ausgibt. Wir sehen dies häufig bei CMS-Themes, die zusätzlichen Code oder Kommentare in den Header einfügen und dadurch versehentlich die von Suchmaschinen geforderte XML-Struktur zerstören.
- Falsche XML-Tag-Verschachtelung oder nicht geschlossene Tags.
- Verwendung nicht zulässiger Zeichen oder unsachgemäße Maskierung von Sonderzeichen.
- Die Dateigröße überschreitet das 50-MB-Limit oder enthält mehr als 50.000 URLs.
- Hosting der Sitemap auf einer anderen Domain ohne ordnungsgemäße Cross-Site-Verifizierung.
- Fehlende erforderliche XML-Header-Deklaration.
So führen Sie eine technische Diagnose durch
Beginnen Sie damit, Ihre Sitemap-URL direkt in einem Browser oder mit einem Raw-HTTP-Header-Checker zu testen. Wenn die Seite einen 404-Fehler zurückgibt, überprüfen Sie den Dateispeicherort. Wenn ein Fehler der 500er-Ebene zurückgegeben wird, untersuchen Sie Ihre Serverprotokolle auf Konnektivitätsprobleme oder Firewall-Blockaden, die den Googlebot-User-Agent möglicherweise ablehnen.
Sie sollten auch das XML-Schema anhand des offiziellen sitemaps.org-Protokolls validieren. Viele kostenlose Online-Validatoren können genau bestimmen, welche Zeile den Syntaxfehler enthält. Sobald Sie die Zeile identifiziert haben, korrigieren Sie die Kodierung oder den Tag-Fehler und laden Sie die Datei erneut in Ihr Server-Stammverzeichnis hoch.
Das Testen der Datei lokal mit einem Linter ist ebenfalls eine gute Praxis. Durch das Ausführen eines lokalen Skripts zur Überprüfung der Struktur eliminieren Sie die Variablen von Serverlatenz oder externen Zugriffsbeschränkungen. Wenn die Datei die lokale Prüfung besteht, aber in der GSC fehlschlägt, hängt das Problem fast sicher damit zusammen, wie Ihr Server auf bestimmte User-Agents reagiert.
Der Bericht zu Sicherheitsproblemen zeigt alle gehackten Seiten an, die Google auf Ihrer Website identifiziert hat, sowie Anweisungen zur Behebung des Problems.
Google Search Central
Wie Alien Road dies anwendet
Bei Alien Road verwendet unser Team für jedes technische Engagement einen Standardprozess, um die Sitemap-Gesundheit sicherzustellen. Wir überprüfen zuerst die robots.txt-Datei, um sicherzustellen, dass keine Anweisungen den Sitemap-Pfad blockieren. Als Nächstes validieren wir die XML-Struktur mithilfe interner Standard-Skripte, bevor wir die URL an das GSC-Property-Dashboard übermitteln.
Bei einem typischen Kundenengagement stellen wir fest, dass Sitemaps oft zu groß für das 50.000-URL-Limit werden. Wenn dies geschieht, teilen wir die Sitemap in Indexdateien auf. Wir überwachen dann das GSC-Dashboard eine volle Woche lang, um zu bestätigen, dass der Index ohne wiederkehrende Fehler verarbeitet wird, und stellen sicher, dass die neuen Inhalte des Kunden wie beabsichtigt den Index erreichen.
Bei einem Kundenaudit stellten wir fest, dass ein automatisiertes Sicherheits-Plugin den Googlebot aggressiv ratenbegrenzte. Durch das Whitelisting der offiziellen Googlebot-IP-Bereiche in der Serverkonfiguration haben wir sofort die ‘Konnte nicht abgerufen werden’-Fehler behoben, die ihren Indexierungsbericht monatelang geplagt hatten.
- Überprüfen Sie die Seitenstruktur, um sicherzustellen, dass nur indexierbare URLs enthalten sind.
- Überprüfen Sie die Server-Antwort-Header, um sicherzustellen, dass die Sitemap einen 200 OK-Status zurückgibt.
- Überwachen Sie den GSC-Abdeckungsbericht auf nachfolgende Indexierungsverzögerungen.
- Stellen Sie sicher, dass die Sitemap korrekt in der robots.txt-Datei verlinkt ist.
- Stellen Sie sicher, dass alle URLs innerhalb der Sitemap absolut sind und das richtige Protokoll verwenden.
Was ist, wenn Fehler nach der Reparatur der Datei bestehen bleiben?
Anhaltende Fehler deuten oft darauf hin, dass Ihr Server immer noch die alte, defekte Version der Datei zwischenspeichert. Sie sollten Ihren serverseitigen Cache und alle Edge-Caching-Dienste wie Cloudflare bereinigen, um sicherzustellen, dass die aktuellste Version der XML bereitgestellt wird.
Wir empfehlen außerdem zu überprüfen, ob die Datei nicht durch eine versteckte ‘.htaccess’-Regel oder eine Konfiguration auf Serverebene blockiert wird, die speziell auf den XML-Dateityp abzielt. Manchmal wenden Entwickler versehentlich Sicherheitsheader an, die Google daran hindern, die Datei zu lesen, selbst wenn die Datei selbst gültig ist.
Schritte zur Behebung anhaltender Abruffehler
Wenn das Problem weiterhin besteht, überprüfen Sie Ihre Sicherheitseinstellungen. Manchmal identifizieren Sicherheits-Plugins oder Web Application Firewalls (WAF) den Googlebot fälschlicherweise als bösartigen Akteur. Die Anpassung Ihrer Firewall-Regeln, um den Zugriff durch den Googlebot zu ermöglichen, kann diese Probleme oft sofort lösen. Wir prüfen auch auf IP-basiertes Blocking, das möglicherweise verhindert, dass die spezifischen Crawling-Server von Google Ihre Dateien erreichen.
Wo man diese Woche anfangen sollte
Melden Sie sich bei Ihrem Google Search Console-Konto an und navigieren Sie zum Abschnitt ‘Sitemaps’ unter der Registerkarte ‘Indexierung’. Überprüfen Sie den Status Ihrer eingereichten Dateien. Wenn Sie einen Fehler sehen, klicken Sie auf das spezifische Zeilenelement, um die detaillierte Fehlerbeschreibung von Google zu lesen. Beheben Sie das spezifische URL- oder Formatproblem und senden Sie die Datei erneut ein, um einen neuen Crawl auszulösen.