Googlebot markiert Soft-404-Fehler für Seiten, die durch robots.txt blockiert sind, wenn der Crawler daran gehindert wird, den Seiteninhalt zu lesen, aber vermutet, dass die URL eine Sackgasse ist. Dieser Konflikt entsteht, weil die robots.txt-Datei nur das Crawling stoppt, nicht aber die Indexierung. Wenn externe Links auf eine blockierte URL verweisen, indexiert Google sie möglicherweise ohne Daten. Wenn das System auf dieser indexierten URL keine aussagekräftigen Inhalte finden kann, stuft es das Ergebnis oft als Soft-404 ein.
Warum meldet der Googlebot Soft-404s für blockierte Seiten?
Ein Soft-404 ist kein Standard-HTTP-Antwortcode. Es handelt sich um ein Label, das Google vergibt, wenn eine Seite einen 200-OK-Status zurückgibt, sich aber wie eine 404-Not-Found-Seite verhält. Wenn Sie eine URL in robots.txt blockieren, kann der Googlebot den Inhalt oder den Statuscode der Seite nicht sehen. Das Indexierungssystem beschließt jedoch möglicherweise dennoch, die URL in den Suchergebnissen anzuzeigen, wenn es den Link anderswo im Web findet.
Das System geht davon aus, dass eine Seite, wenn sie wichtig genug ist, um verlinkt zu werden, auch Inhalte haben sollte. Wenn der Crawler daran gehindert wird, diesen Inhalt zu sehen, verwendet er verschiedene Signale, um den Zweck der Seite zu erraten. Wenn diese Signale schwach sind, markiert die Google Search Console die URL möglicherweise als Soft-404. Dies passiert häufig bei alten URLs, die blockiert wurden, anstatt ordnungsgemäß weitergeleitet oder gelöscht zu werden. Dies führt zu einer verwirrenden Erfahrung für Benutzer, die auf ein Suchergebnis klicken und nur eine defekte oder leere Seite vorfinden.
Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, auf welche URLs der Crawler auf Ihrer Website zugreifen kann.
Google Search Central
Wie identifizieren Sie diese Fehler in der Google Search Console?
Sie können diese Probleme finden, indem Sie zum Indexierungsbericht in Ihrem Google Search Console-Dashboard navigieren. Suchen Sie nach dem Status „Ausgeschlossen“ oder „Warnung“. Oft erscheinen diese URLs unter „Indexiert, aber durch robots.txt blockiert“. Wenn die automatisierten Systeme feststellen, dass die Seite im Wesentlichen leer ist, verschiebt sie sich in die Kategorie „Soft 404“. Die wöchentliche Überwachung dieser Berichte ist eine solide Methode, um die Gesundheit der Website zu erhalten.
- Öffnen Sie den Indexierungsbericht, um zu sehen, welche URLs aktuell markiert sind.
- Verwenden Sie das URL-Prüfungstool, um zu sehen, wie der Googlebot den blockierten Link sieht.
- Überprüfen Sie das Datum „Erkannt am“, um festzustellen, ob der Fehler auf eine kürzliche Änderung in Ihrer robots.txt-Datei zurückzuführen ist.
- Vergleichen Sie die Liste der blockierten URLs mit Ihrer Sitemap, um sicherzustellen, dass Sie keine gemischten Signale senden.
- Überprüfen Sie, ob die blockierten Seiten tatsächliche Suchimpressionen oder Klicks generieren.
Ist robots.txt das richtige Tool zum Entfernen von Seiten?
Viele Website-Besitzer nutzen robots.txt fälschlicherweise, um Inhalte vor Suchergebnissen zu verbergen. Dies ist ein häufiger Fehler, der zu Soft-404-Markierungen führt. Wenn Ihr Ziel darin besteht, eine Seite aus dem Google-Index herauszuhalten, ist ein Crawl-Block nicht die Lösung. Stattdessen sollten Sie dem Googlebot erlauben, die Seite zu crawlen, aber ein „noindex“-Meta-Tag im HTML-Head oder einen X-Robots-Tag im HTTP-Header ausliefern.
Wenn Sie den Crawler blockieren, sieht der Googlebot das noindex-Tag niemals. Dies erzeugt eine Schleife, in der die URL im Index verbleibt, da der Crawler die Anweisung zum Entfernen nicht lesen kann. Beispielsweise könnte ein Shopify-Shop, der Vintage-Kleidung verkauft, seine internen Suchfilterseiten blockieren. Wenn diese Filter von einem Blogbeitrag aus verlinkt sind, erscheinen sie in Google als leere Snippets. Dies ist ein Hauptgrund, warum sich technische SEO-Audits auf den Unterschied zwischen Crawling und Indexierung konzentrieren.
Um eine Webseite aus Google herauszuhalten, blockieren Sie die Indexierung mit noindex oder schützen Sie die Seite mit einem Passwort.
Google Search Central
Wie Alien Road die robots.txt-Verwaltung anwendet
Unser Team beginnt jedes technische Projekt mit einem detaillierten Audit der aktuellen Crawling-Anweisungen. Für einen typischen Auftrag bilden wir jede Disallow-Regel ab, um sicherzustellen, dass sie nicht mit den Indexierungszielen der Website kollidiert. Wir stellen oft fest, dass Kunden Verzeichnisse wie /scripts/ oder /styles/ blockiert haben, was den Googlebot daran hindert, die Seite korrekt zu rendern. Dieses Fehlen des Renderns kann zu einem Soft-404 führen, da Google eine leere Hülle einer Seite sieht.
In einem Beispiel arbeiteten wir mit einer großen E-Commerce-Plattform zusammen, bei der Tausende von Filterseiten in robots.txt blockiert waren, aber in der Search Console immer noch als Soft-404s angezeigt wurden. Wir implementierten eine Strategie, um die robots.txt-Blockierungen zu entfernen, und ersetzten sie durch eine websiteübergreifende Logik, die noindex-Tags auf wertarme Parameter anwendete. Dies ermöglichte es dem Googlebot, die Seiten zu sehen, zu erkennen, dass sie nicht indexiert werden sollten, und sie sauber aus den Suchergebnissen zu entfernen. Alien Road bietet diese Art der technischen Überwachung, um sicherzustellen, dass das Crawling-Budget für umsatzstarke Produktseiten statt für Sackgassen verwendet wird.
Sollten Sie robots.txt für Bilddateien verwenden?
Das Blockieren von Bildern in robots.txt ist ein weiterer Bereich, in dem die Soft-404-Logik angewendet werden kann, wenn auch auf etwas andere Weise. Zwar können Sie den Googlebot-Image daran hindern, eine Datei herunterzuladen, doch kann die Suchmaschine die Bild-URL basierend auf dem Kontext der Seite, in die sie eingebettet ist, dennoch indexieren. Wenn das Bild blockiert ist, aber die Seite gecaucht wird, zeigt Google möglicherweise einen Platzhalter oder ein reines Textergebnis in der Bildersuche an.
- Robots.txt: Verhindert, dass die Datei vom Crawler heruntergeladen wird.
- Noindex: Verhindert vollständig, dass die Seite oder Datei in den Suchergebnissen erscheint.
- 404-Status: Teilt Google mit, dass der Inhalt verschwunden ist und aus dem Index entfernt werden sollte.
- 301-Weiterleitung: Leitet sowohl Nutzer als auch Crawler zu einem neuen, relevanten Speicherort um.
- Passwortschutz: Der zuverlässigste Weg, sensible Inhalte vor allen Crawlern zu verbergen.
Best Practices für die Behebung von Soft-404-Markierungen
Um einen durch robots.txt verursachten Soft-404 zu beheben, müssen Sie zunächst entscheiden, ob die Seite existieren sollte. Wenn die Seite ein gültiger Teil Ihrer Website ist, entfernen Sie die Disallow-Regel aus Ihrer robots.txt-Datei. Dies ermöglicht dem Googlebot, den Inhalt zu crawlen und zu erkennen, dass es sich um eine legitime Seite handelt. Nach dem Crawling verschwindet die Soft-404-Warnung in den nächsten Tagen.
Sollte die Seite nicht im Index sein, haben Sie zwei klare Wege. Entweder Sie lassen die Seite einen echten 404- oder 410-Statuscode zurückgeben, oder Sie verwenden ein noindex-Tag. Beide Methoden erfordern, dass Sie die URL in robots.txt vorübergehend entblocken. Der Googlebot muss in der Lage sein, die Seite zu erreichen, um den 404-Code oder das noindex-Tag zu sehen. Nachdem Google seinen Index aktualisiert und die URL entfernt hat, können Sie den Pfad optional wieder blockieren, um Crawling-Budget zu sparen, obwohl dies für kleinere Websites selten notwendig ist.
So prüfen Sie Ihre robots.txt diese Woche
Beginnen Sie damit, Ihre aktuelle robots.txt-Datei herunterzuladen und mit der Liste „Indexiert, aber blockiert“ in der Google Search Console zu vergleichen. Verwenden Sie das Robots.txt-Tester-Tool, um zu sehen, ob Ihre Regeln zu broad (breit) gefasst sind. Suchen Sie nach „Disallow: /“-Regeln, die möglicherweise von einer Staging-Site übrig geblieben sind. Wenn Sie URLs finden, die als Soft-404s markiert sind, priorisieren Sie jene mit der höchsten internen Linkanzahl. Das Entfernen dieser Konflikte hilft Suchmaschinen, Ihre Website-Struktur klarer zu verstehen.