Ein Soft-404-Fehler tritt auf, wenn ein Webserver einen 200-OK-HTTP-Statuscode für eine Seite zurückgibt, die nicht mehr existiert oder Inhalte anzeigt, die darauf hinweisen, dass die Ressource fehlt. Im Gegensatz zu einem Standard-404-Fehler, der Suchmaschinen mitteilt, dass die Seite weg ist, verwirrt ein Soft-404 den Crawler, indem er suggeriert, die Seite sei aktiv. Die Korrektur dieser Fehler erfordert eine Server-Response-Prüfung, um sicherzustellen, dass der Server einen 404- oder 410-Code für fehlende Inhalte sendet.
Was verursacht Soft-404-Fehler bei Site-Crawls?
Diese Fehler entstehen oft durch eine fehlerhafte Serverkonfiguration oder CMS-Einstellungen. Wenn ein Entwickler eine benutzerdefinierte Fehlerseite erstellt, aber den korrekten HTTP-Header nicht setzt, behandelt der Server die Anfrage als Erfolg. Folglich nimmt der Suchroboter den Inhalt als gültige, indexierbare Seite wahr, obwohl der Benutzer eine Fehlermeldung sieht.
Zum Beispiel behandeln viele E-Commerce-Plattformen nicht mehr erhältliche Produkte, indem sie sie auf eine Kategorieseite umleiten. Wenn diese Weiterleitungskette nicht mit einem 301- oder 302-Status gehandhabt wird oder wenn die Seite lediglich eine ‘Produkt nicht verfügbar’-Meldung anzeigt, während sie einen 200-OK-Header beibehält, betrachtet die Suchmaschine diese Seite als gültiges Ziel. Dies verleitet den Bot zu der Annahme, dass die Seite indexierungswürdig ist, was Ihr Crawl-Budget aufzehrt.
- Benutzerdefinierte Fehlerseiten ohne den korrekten 404-HTTP-Header.
- Serverseitige Weiterleitungen, die zu einer allgemeinen Landingpage zurückführen, anstatt einen Fehlercode zurückzugeben.
- Leere Kategorie- oder Suchergebnisseiten, die ‘keine Ergebnisse’ anzeigen, während sie einen 200-OK-Status zurückgeben.
- Skripte zur dynamischen Inhaltserstellung, die die Existenz von Datenbankeinträgen nicht validieren, bevor sie gerendert werden.
So führen Sie eine manuelle Server-Response-Prüfung durch
Sie können den HTTP-Status jeder Seite mithilfe der Browser-Entwicklertools oder Befehlszeilen-Dienstprogramme überprüfen. Öffnen Sie den Netzwerk-Tab in Ihrer Browser-Konsole, laden Sie die Seite neu und untersuchen Sie die Statusspalte für die primäre Dokumentanfrage. Wenn der Status 200 ist, obwohl die Seite einen Hinweis auf fehlende Inhalte anzeigt, haben Sie einen Soft-404 identifiziert.
Stellen Sie bei der Analyse einer Seite sicher, dass die untersuchte Anfrage das Hauptdokument ist, nicht ein Bild oder eine Skriptdatei. Klicken Sie mit der rechten Maustaste auf die Anfrage, wählen Sie ‘Als cURL kopieren’ und untersuchen Sie die Antwort-Header. Wenn Ihr Browser den Dokumentkörper anzeigt, der ‘Status Code’ aber 200 bleibt, ist die Seite falsch konfiguriert.
Verwendung von Terminalbefehlen für die Massenüberprüfung
Für größere Websites ist die manuelle Überprüfung ineffizient. Die Verwendung von Tools wie cURL ermöglicht es Ihnen, Header für mehrere URLs gleichzeitig zu untersuchen. Ein einfacher Befehl wie ‘curl -I [URL]’ gibt die Header-Informationen aus, sodass Sie bestätigen können, ob der Server korrekt einen 404 Not Found- oder 410 Gone-Status meldet.
Wie Alien Road dies bei Kundenprojekten anwendet
Bei Alien Road integrieren wir Server-Response-Prüfungen in unsere regelmäßigen Site-Health-Audits. Wir priorisieren die Identifizierung dieser Fehler, um eine Verschwendung des Crawl-Budgets zu verhindern. Wenn wir eine Kundenseite analysieren, suchen wir nach Mustern in den Server-Logs, die mit hohen Volumina an 200-OK-Antworten auf Seiten korrelieren, die eigentlich tot sein sollten. Unser Team arbeitet dann mit der Entwicklungsabteilung des Kunden zusammen, um die serverseitige Logik zu aktualisieren und sicherzustellen, dass fehlende Ressourcen konsistent den entsprechenden Fehlercode zurückgeben.
Wir stellen oft fest, dass große Websites Tausende von Legacy-Seiten haben, die entfernt wurden, aber immer noch mit einer 200-Antwort in der Datenbank existieren. In einem typischen Engagement mappen wir diese URLs und testen die Server-Antwort für jede einzelne. Wir stellen dann ein technisches Briefing für das Engineering-Team bereit, um die Vorlagendateien so zu ändern, dass sie den korrekten Fehler-Header auslösen. Dies stellt sicher, dass der Suchbot aufhört, Inhalte zu parsen, die dem Benutzer keinen Mehrwert mehr bieten.
Wir sehen oft Websites, bei denen leere Suchergebnisseiten versehentlich indexiert werden. Diese durch das Erzwingen eines 404-Headers zu beheben, ist eine einfache Änderung, die den Index bereinigt und die Qualität des Crawls verbessert.
Alien Road SEO-Team
Warum sollten Sie Soft-404s sofort beheben?
Diese Fehler ungelöst zu lassen, zwingt den Crawler, Ressourcen für Seiten aufzuwenden, die den Benutzern keinen Mehrwert bieten. Dies kann dazu führen, dass frische, qualitativ hochwertige Inhalte ignoriert werden, weil der Roboter damit beschäftigt ist, tote Seiten erneut zu validieren. Die Priorisierung dieser Korrektur hält Ihre Seitenstruktur sauber und effizient.
Suchroboter haben nur begrenzt Zeit für Ihre Domain. Jede Sekunde, die damit verbracht wird, eine leere Suchergebnisseite zu crawlen, ist eine Sekunde, die Ihren Produkt- oder Blogseiten entzogen wird. Durch die Bereinigung dieser Statuscodes unterstützen Sie direkt die Fähigkeit des Roboters, sich auf die Seiten zu konzentrieren, die tatsächlich Traffic und Engagement generieren.
- Auditieren Sie Site-Logs, um Seiten mit fehlenden Inhalten zu finden, die 200 OK zurückgeben.
- Implementieren Sie explizite 404- oder 410-Header in Ihrer Serverkonfiguration für entfernte Seiten.
- Stellen Sie sicher, dass Ihr CMS fehlende Elemente nicht auf die Homepage umleitet.
- Überprüfen Sie Korrekturen mithilfe von Browser-Netzwerk-Tools oder CLI-Dienstprogrammen.
So überprüfen Sie Server-Responses in großem Maßstab
Die Skalierung Ihrer Prüfungen erfordert Automatisierung. Über das Testen einzelner URLs hinaus sollten Sie Log-Analyse-Tools verwenden, um zu sehen, welche Seiten der Suchroboter derzeit am häufigsten besucht. Wenn Sie eine hohe Besuchsfrequenz auf Seiten bemerken, von denen Sie wissen, dass sie leer oder ungültig sind, werden diese zu Ihrer obersten Priorität für die Korrektur.
Sie sollten auch die ‘Ausgeschlossen’-Berichte in Ihren Search-Console-Tools überprüfen, um zu sehen, ob die Suchmaschine diese Seiten bereits identifiziert hat. Wenn Sie eine große Anzahl von Seiten finden, die als ‘Soft 404’ gekennzeichnet sind, ist dies ein klares Signal dafür, dass Ihre Serverlogik nicht mit Ihrem Inhaltsstatus übereinstimmt. Sobald Sie diese identifiziert haben, überprüfen Sie die Server-Response und aktualisieren Sie die Konfiguration.
Die Überwachung der Server-Response geht nicht nur um Fehler; es geht darum sicherzustellen, dass die Suchmaschine Ihre Seitenarchitektur versteht. Jede Anfrage, die einen falschen Statuscode zurückgibt, ist eine verpasste Gelegenheit für Ihre Seite, besser zu ranken.
Alien Road SEO-Team
Nächste Schritte für Ihr Site-Audit
Beginnen Sie diese Woche damit, eine Liste Ihrer am häufigsten besuchten Seiten zu exportieren, die keine aktiven Inhalte mehr enthalten. Führen Sie eine Header-Prüfung für diese URLs durch, um zu sehen, ob sie einen 200-OK-Status zurückgeben. Sobald Sie die Übeltäter identifiziert haben, koordinieren Sie sich mit Ihrem technischen Team, um die korrekten HTTP-Fehlercodes anzuwenden. Die Verfolgung dieser Änderungen über die nächsten Wochen wird Ihnen helfen, Verbesserungen in der Art und Weise zu beobachten, wie der Crawler mit Ihrer Domain interagiert.