Crawl-Fehler: Die nächste Generation

Montag, 12. März 2012

Crawl-Fehler sind eine der beliebtesten Funktionen in den Webmaster Tools, und heute führen wir einige sehr wichtige Verbesserungen ein, die sie noch nützlicher machen.

Wir erkennen und melden jetzt viele neue Arten von Fehlern. Um Ihnen zu helfen, die neuen Daten zu verstehen, haben wir die Fehler in zwei Teile unterteilt: Website-Fehler und URL-Fehler.

Website-Fehler

Website-Fehler sind Fehler, die nicht spezifisch für eine bestimmte URL sind – sie betreffen Ihre gesamte Website. Dazu gehören DNS-Auflösungsausfälle, Verbindungsprobleme mit Ihrem Webserver und Probleme beim Abrufen Ihrer robots.txt-Datei. Frueher haben wir diese Fehler nach URL gemeldet, aber das machte wenig Sinn, da sie nicht spezifisch für einzelne URLs sind – tatsaechlich hindern sie Googlebot sogar daran, eine URL anzufordern! Stattdessen verfolgen wir nun die Ausfallraten für jeden Typ von websiteweiten Fehlern. Wir versuchen auch, Ihnen Benachrichtigungen zu senden, wenn diese Fehler so häufig auftreten, dass sie Aufmerksamkeit erfordern.

Ausserdem werden wir Sie mit diesem Bereich nicht belästigen, wenn Sie in diesen Bereichen keine Probleme haben (und kürzlich hatten), wie es bei vielen Websites der Fall ist. Stattdessen zeigen wir Ihnen einfach ein paar freundliche Häkchen, damit Sie wissen, dass alles in Ordnung ist.

URL-Fehler

URL-Fehler sind Fehler, die spezifisch für eine bestimmte Seite sind. Das bedeutet, dass Googlebot beim Versuch, die URL zu crawlen, Ihre DNS auflösen, sich mit Ihrem Server verbinden, Ihre robots.txt-Datei abrufen und lesen und dann diese URL anfordern konnte, aber danach ist etwas schiefgegangen. Wir unterteilen die URL-Fehler in verschiedene Kategorien, basierend darauf, was den Fehler verursacht hat. Wenn Ihre Website Google News oder mobile (CHTML/XHTML) Daten bereitstellt, zeigen wir separate Kategorien für diese Fehler an.

Weniger ist mehr

Früher haben wir Ihnen höchstens 100.000 Fehler jedes Typs angezeigt. Der Versuch, all diese Informationen aufzunehmen, war wie aus einem Feuerwehrschlauch zu trinken, und Sie hatten keine Möglichkeit zu wissen, welche dieser Fehler wichtig (Ihre Startseite ist down) oder weniger wichtig waren (die persönliche Website von jemandem hat einen Tippfehler in einem Link zu Ihrer Website gemacht). Es gab keine realistische Möglichkeit, alle 100.000 Fehler anzusehen – keine Möglichkeit zu sortieren, zu suchen oder Ihren Fortschritt zu markieren. In der neuen Version dieser Funktion haben wir uns darauf konzentriert, Ihnen von vornherein nur die wichtigsten Fehler zu geben. Für jede Kategorie geben wir Ihnen das, was unserer Meinung nach die 1000 wichtigsten und umsetzbaren Fehler sind. Sie können diese Top 1000 Fehler sortieren und filtern, uns wissen lassen, wenn Sie glauben, sie behoben zu haben, und Details dazu anzeigen.

Einige Websites haben mehr als 1000 Fehler eines bestimmten Typs, sodass Sie weiterhin die Gesamtzahl der Fehler jedes Typs sowie ein Diagramm mit historischen Daten der letzten 90 Tage sehen können. Für diejenigen, die befürchten, dass 1000 Fehlerdetails plus eine Gesamtsumme nicht ausreichen, prüfen wir die Hinzufügung eines programmatischen Zugriffs (eine API), mit dem Sie jeden einzelnen Fehler herunterladen können, also geben Sie uns bitte Feedback, wenn Sie mehr benötigen.

Wir haben auch die Liste der von robots.txt blockierten Seiten entfernt, denn obwohl diese manchmal nützlich sein können, um ein Problem mit Ihrer robots.txt-Datei zu diagnostizieren, sind es häufig Seiten, die Sie
absichtlich blockiert haben. Wir wollten uns wirklich auf Fehler konzentrieren, halten Sie also Ausschau nach Informationen über robotisierte URLs, die bald in der Funktion „Crawler-Zugriff“ unter „Website-Konfiguration“ erscheinen.

Tauchen Sie in die Details ein

Ein Klick auf eine einzelne Fehler-URL aus der Hauptliste öffnet einen Detailbereich mit zusätzlichen Informationen, einschließlich des Zeitpunkts, zu dem wir zuletzt versucht haben, die URL zu crawlen, wann wir das Problem zum ersten Mal bemerkt haben, und einer kurzen Erklärung des Fehlers.

Im Detailbereich können Sie auf den Link für die URL klicken, die den Fehler verursacht hat, um selbst zu sehen, was passiert, wenn Sie versuchen, sie zu besuchen. Sie können den Fehler auch als „behoben“ markieren (mehr dazu später!), Hilfeinhalte für den Fehlertyp anzeigen, Sitemaps auflisten, die die URL enthalten, andere Seiten anzeigen, die auf diese URL verlinken, und den Googlebot sogar dazu bringen, die URL sofort abzurufen, entweder für weitere Informationen oder um doppelt zu überprüfen, ob Ihre Korrektur funktioniert hat.

Werden Sie aktiv!

Eines der Dinge, die uns an dieser neuen Version der Crawl-Fehler-Funktion wirklich begeistern, ist, dass Sie sich wirklich darauf konzentrieren können, zuerst das Wichtigste zu beheben. Wir haben die Fehler so eingestuft, dass diejenigen ganz oben auf der Prioritätsliste diejenigen sind, bei denen Sie etwas tun können, sei es das Beheben defekter Links auf Ihrer eigenen Website, das Beheben von Fehlern in Ihrer Serversoftware, das Aktualisieren Ihrer Sitemaps zum Bereinigen toter URLs oder das Hinzufügen einer 301 Weiterleitung

, um Benutzer auf die „echte“ Seite zu leiten. Wir ermitteln dies anhand einer Vielzahl von Faktoren, einschließlich der Frage, ob Sie die URL in eine Sitemap aufgenommen haben oder nicht, wie oft sie verlinkt ist (und ob sich einige davon ebenfalls auf Ihrer Website befinden) und ob die URL in letzter Zeit Traffic von der Suche erhalten hat.
Sobald Sie glauben, das Problem behoben zu haben (Sie können Ihre Korrektur testen, indem Sie die URL als Googlebot abrufen), können Sie uns dies mitteilen, indem Sie den Fehler als „behoben“ markieren, wenn Sie einBenutzer mit vollständigen Zugriffsrechten

sind. Dadurch wird der Fehler aus Ihrer Liste entfernt. In Zukunft werden die von Ihnen als behoben markierten Fehler nicht in der Liste der Top-Fehler enthalten sein, es sei denn, wir sind beim erneuten Crawlen einer URL auf denselben Fehler gestoßen.
Wir haben viel Arbeit in die neue Crawl-Fehler-Funktion gesteckt und hoffen, dass sie für Sie sehr nützlich sein wird. Lassen Sie uns wissen, was Sie denken, und wenn Sie Vorschläge haben, besuchen Sie bitte unser!

Forum
Geschrieben vonKurt Dresner