Behebung von Soft-404-Fehlern mittels Crawl-Statistik-Daten

Ask AI about this page

6 views 7 Min. Lesezeit

Soft-404-Fehler stellen eine Diskrepanz zwischen der Serverantwort und der Inhaltsabsicht dar, bei der eine Seite einen 200-OK-Status zurückgibt, obwohl sie leer oder irrelevant ist. Die Erkennung dieser Probleme erfordert eine detaillierte Analyse der Crawl-Statistik-Daten in Yandex Webmaster, um sicherzustellen, dass der Suchmaschinenindex sauber und effizient bleibt. Die Behebung dieser Fehler verhindert die Verschwendung des Crawl-Budgets und hilft, das Ranking gültiger Seiten aufrechtzuerhalten, indem Sackgassen aus der Seitenstruktur entfernt werden.

Was definiert einen Soft-404-Fehler in der Yandex-Suche?

Ein Soft-404 ist kein offizieller HTTP-Antwortcode, sondern eine Klassifizierung, die von Suchmaschinen verwendet wird, um eine Seite zu beschreiben, die eigentlich ein 404 sein sollte, es aber nicht ist. Wenn ein Benutzer oder Bot eine Seite anfordert, die nicht existiert, sollte der Server idealerweise einen 404 (Not Found) oder 410 (Gone) Statuscode zurückgeben. Viele Server sind jedoch so konfiguriert, dass sie einen 200-OK-Status senden, während sie dem Besucher eine benutzerdefinierte Fehlermeldung anzeigen. Dies signalisiert der Suchmaschine, dass die Seite ein gültiger Inhalt ist, der indexiert werden sollte, auch wenn sie keine nützlichen Informationen enthält.

Behebung von Soft-404-Fehlern mittels Crawl-Statistik-Daten

Yandex identifiziert diese Seiten durch die Bewertung der Inhaltsdichte und gängiger Fehler-Muster. Wenn eine Seite sehr wenig Text enthält oder Phrasen wie ‘Produkt nicht gefunden’ oder ‘leere Kategorie’ anzeigt, während sie einen Erfolgscode zurückgibt, wird sie markiert. Diese Seiten belegen Platz im Index und können die Autorität Ihres eigentlichen Inhalts verwässern. Bei einer großen Website kann das Vorhandensein von Tausenden dieser URLs die Entdeckung neuer, hochwertiger Seiten erheblich verlangsamen.

Ein Soft-404 ist im Grunde eine Lüge, die Ihr Server dem Such-Bot erzählt. Obwohl es für einen Benutzer gut aussehen mag, zwingt es den Crawler dazu, leere Daten so zu verarbeiten, als wären sie eine wichtige Landingpage, was ein massiver Effizienzkiller ist.

Alien Road SEO-Team

Wie enthüllen Crawl-Statistik-Daten versteckte Fehler?

Der Bereich Crawl-Statistiken in Yandex Webmaster bietet ein Protokoll jedes Besuchs des Bots auf Ihrer Website. Er listet die URL, das Datum des Besuchs und den empfangenen HTTP-Statuscode auf. Durch Filtern dieser Daten können Sie Anomalien erkennen, bei denen URLs, von denen Sie wissen, dass sie gelöscht oder abgelaufen sind, immer noch einen 200-OK-Status anzeigen. Dieser Bericht ist die erste Anlaufstelle, wenn Sie eine hohe Anzahl von Seiten im Index bemerken, die nicht Ihrer tatsächlichen Produkt- oder Beitragsliste entsprechen.

Behebung von Soft-404-Fehlern mittels Crawl-Statistik-Daten — 2

Die Analyse dieser Statistiken ermöglicht es Ihnen, die Häufigkeit der Besuche auf diesen problematischen URLs zu sehen. Wenn der Bot täglich zu leeren Seiten zurückkehrt, verbringt er weniger Zeit mit Ihren neuen Blogbeiträgen oder aktualisierten Produktlisten. Diese Daten sind entscheidend für die Diagnose, warum bestimmte Teile Ihrer Website nicht so schnell wie erwartet indexiert werden. Sie bieten einen klaren Überblick darüber, wie der Bot Ihre Seitenstruktur im Vergleich zu Ihrer beabsichtigten Sitemap wahrnimmt.

Warum sind Soft-404-Fehler schädlich für die SEO-Performance?

Die Hauptgefahr von Soft-404s ist die Verschwendung des Crawl-Budgets. Jede Suchmaschine weist einer Website basierend auf ihrer Größe, Autorität und Aktualisierungshäufigkeit eine bestimmte Menge an Ressourcen zum Crawlen zu. Wenn der Bot dieses Budget für Seiten ausgibt, die nicht existieren, verpasst er möglicherweise wichtige Aktualisierungen auf Seiten, die existieren. Dies führt zu verzögerter Indexierung für neue Inhalte und langsameren Aktualisierungen für Preisänderungen oder Lagerverfügbarkeit in den Suchergebnissen.

Zweitens beeinträchtigen diese Fehler die Benutzererfahrung negativ. Wenn ein Benutzer auf ein Suchergebnis klickt, in der Erwartung eines bestimmten Produkts, aber auf einer Seite landet, die ‘Nichts gefunden’ anzeigt, obwohl der Browser ein erfolgreiches Laden signalisiert, wird er wahrscheinlich sofort gehen. Diese hohe Absprungrate signalisiert Yandex, dass die Seite die Benutzerabsicht nicht erfüllt, was letztendlich den allgemeinen Vertrauenswert Ihrer Domain senken kann.

  • Verschwendung des Crawl-Budgets für nicht existierende Inhalte
  • Verwässerung der Seitenautorität durch dünne Inhalte
  • Erhöhte Absprungraten durch frustrierte Benutzer
  • Verzögerte Indexierung neuer oder aktualisierter Seiten
  • Verwirrung in der Berichterstattung und Analytik der Suchmaschine

Wie Alien Road die Analyse von Crawl-Statistik-Daten anwendet

Bei Alien Road betrachten wir Crawl-Statistiken als das Fundament der technischen Gesundheit. Unser Prozess beginnt mit einer Entdeckungsphase, in der wir die Crawl-Daten der letzten 90 Tage aus Yandex Webmaster exportieren. Wir gleichen diese Liste dann mit der aktuellen Datenbank der aktiven URLs des Kunden ab. Zum Beispiel könnten wir bei einem typischen Engagement für einen Shopify-Shop mit 10.000 Produkten feststellen, dass 1.500 URLs gecrawlt werden, obwohl die Produkte vor Monaten eingestellt wurden.

Wir suchen dann nach Mustern in der URL-Struktur. Oft werden Soft-404s durch Facetten-Navigationsfilter erzeugt, die zu leeren Ergebnissen führen. Wir arbeiten mit dem Entwicklungsteam zusammen, um sicherzustellen, dass diese Seiten einen korrekten 404-Header zurückgeben. Sobald die Korrekturen bereitgestellt sind, verwenden wir die IndexNow API, um Yandex sofort über die Änderungen zu benachrichtigen. Diese proaktive Berichterstattung stellt sicher, dass die Suchmaschine nicht auf den nächsten natürlichen Crawl warten muss, um die korrigierten Statuscodes zu sehen.

Unser Team überwacht den Bericht ‘Ausgeschlossene Seiten’ in Yandex Webmaster, um zu bestätigen, dass die Soft-404-Labels in die Kategorie ‘HTTP-Status: 404’ übergehen. Diese Verschiebung zeigt an, dass der Bot nun versteht, dass diese Seiten weg sind, was es ihm ermöglicht, seine Energie auf die verbleibenden hochwertigen Seiten zu konzentrieren. Diese detaillierte Überwachung ist ein wichtiger Teil unserer monatlichen Leistungsüberprüfungen für Kunden in Istanbul und darüber hinaus.

Was sind die häufigsten Ursachen für Soft-404s auf E-Commerce-Seiten?

E-Commerce-Plattformen sind aufgrund der dynamischen Natur ihres Inventars besonders anfällig für diese Fehler. Wenn ein Produkt ausverkauft ist und die Seite entfernt wird, könnte das CMS standardmäßig auf eine allgemeine Kategorieseite oder eine Suchergebnisseite zurückgreifen, ohne den Serverantwortcode zu ändern. Dies ist besonders häufig bei automatisierten Inventarsystemen der Fall, die nicht direkt mit den SEO-Einstellungen der Website kommunizieren.

  • Eingestellte Produkte, die mit einem 200-Code auf die Homepage umleiten
  • Leere Suchergebnisseiten auf der internen Suchmaschine der Website
  • Abgelaufene Werbe- oder saisonale Landingpages
  • Filterkombinationen, die null Ergebnisse liefern
  • Technische Fehler im CMS, die fehlende URLs falsch behandeln

Die Verwendung von IndexNow ist eine der zuverlässigsten Möglichkeiten, Soft-404-Fehler zu bereinigen. Anstatt auf einen Crawl zu warten, teilen Sie der Suchmaschine genau mit, welche URLs ihren Status geändert haben, was die Bereinigung Ihres Index beschleunigt.

Alien Road SEO-Team

Wie behebt man Soft-404-Fehler effektiv?

Der effektivste Weg, einen Soft-404 zu beheben, besteht darin, einen echten 404 (Not Found) oder 410 (Gone) HTTP-Statuscode zurückzugeben. Ein 404 ist angemessen für Seiten, die einfach fehlen, während ein 410 der Suchmaschine mitteilt, dass die Seite dauerhaft entfernt wurde und nicht zurückkehren wird. Dieses Signal ist stark und weist Yandex an, die URL so schnell wie möglich aus dem Index zu entfernen. Sie sollten auch Ihre Sitemap aktualisieren, um sicherzustellen, dass diese URLs nicht mehr aufgeführt sind.

Wenn die fehlende Seite ein direktes Äquivalent hat, ist eine 301-Weiterleitung eine bessere Wahl. Wenn Sie beispielsweise ein altes Laptop-Modell durch eine neuere Version ersetzt haben, bewahrt die Weiterleitung der alten URL auf die neue das Link-Equity und führt den Benutzer zu einer relevanten Alternative. Vermeiden Sie es jedoch, alle fehlenden Seiten auf Ihre Homepage umzuleiten, da Yandex diese möglicherweise immer noch als Soft-404 klassifiziert, wenn der Inhalt für die ursprüngliche Anfrage nicht relevant ist.

Wo man diese Woche anfangen sollte

Beginnen Sie, indem Sie sich bei Yandex Webmaster anmelden und zum Bereich Indexierung navigieren, um Ihre Crawl-Statistik-Daten zu finden. Suchen Sie nach jeder URL, die einen 200-OK-Status zurückgibt, aber nicht Teil Ihrer aktuellen Marketingstrategie oder Produktliste ist. Diese frühzeitig zu identifizieren, ist der erste Schritt zu einer gesünderen Seitenstruktur. Überprüfen Sie auch Ihren Bericht ‘Ausgeschlossene Seiten’ speziell auf das Label ‘Soft 404’, um zu sehen, welche Seiten Yandex bereits markiert hat.

Sobald Sie eine Liste problematischer URLs haben, arbeiten Sie mit Ihrem technischen Team zusammen, um die Server-Header anzupassen. Stellen Sie sicher, dass Ihre benutzerdefinierte Fehlerseite tatsächlich einen 404-Statuscode sendet. Reichen Sie schließlich Ihre aktualisierte XML-Sitemap ein und verwenden Sie das IndexNow-Tool, um ein erneutes Crawlen der betroffenen Bereiche auszulösen. Das Befolgen dieser Schritte führt zu einem effizienteren Indexierungsprozess und einer besseren Sichtbarkeit für Ihre wichtigsten Seiten.

Teilen