Die meisten Menschen wissen, dass der Googlebot Seiten von Webservern herunterlädt, um das Web zu crawlen.

Fehlerbehebung bei blockierten URLs

Dienstag, 19. September 2006Vanessa hat in letzter Zeit viel gepostet, und ich fange an, mich ausgeschlossen zu fühlen. Deshalb hier mein kleiner Weisheitsbeitrag für Sie: Ich habe bemerkt, dass einige Webmaster durchdurch robots.txt blockiert
Fehler verwirrt sind, und ich wollte die Schritte teilen, die ich bei der Fehlerbehebung von robots.txt

Problemen anwende:

Eine praktische Checkliste zur Fehlerbehebung bei einer blockierten URL

Nehmen wir an, Sie betrachten die Crawling-Fehler für Ihre Website und bemerken eine von robots.txt eingeschränkte URL, die Sie eigentlich nicht blockieren wollten:

Überprüfen Sie das robots.txt-Analyse-Tool
Das Erste, was Sie tun sollten, ist, das
robots.txt-Analyse-Tool für diese Website aufzurufen. Stellen Sie sicher, dass Sie sich die richtige Website für diese URL ansehen und darauf achten, dass Sie das richtige Protokoll und die richtige Subdomain verwenden. (Subdomains und Protokolle haben möglicherweise ihre eigene robots.txt-Datei, daher kann https://www.example.com/robots.txt
anders sein als https://example.com/robots.txt
und anders sein alshttps://amanda.example.com/robots.txt.

) Fügen Sie die blockierte URL in das Feld „URLs gegen diese robots.txt-Datei testen“ ein. Wenn das Tool meldet, dass sie blockiert ist, haben Sie Ihr Problem gefunden. Wenn das Tool meldet, dass sie zulässig ist, müssen wir weiter untersuchen.
Werfen Sie oben im robots.txt-Analyse-Tool einen Blick auf denHTTP-Statuscode . Wenn wir etwas anderes als einen 200 (Erfolg)
oder einen 404 (Nicht gefunden)

melden, können wir möglicherweise Ihre robots.txt-Datei nicht erreichen, was unseren Crawling-Prozess stoppt. (Beachten Sie, dass Sie oben in diesem Tool sehen können, wann wir Ihre robots.txt-Datei das letzte Mal heruntergeladen haben. Wenn Sie Änderungen an Ihrer Datei vornehmen, überprüfen Sie dieses Datum und diese Uhrzeit, um zu sehen, ob Ihre Änderungen nach unserem letzten Download vorgenommen wurden.)

Auf Änderungen in Ihrer robots.txt-Datei prüfen

Wenn diese in Ordnung aussehen, möchten Sie vielleicht überprüfen, ob sich Ihre robots.txt-Datei seit dem Auftreten des Fehlers geändert hat, indem Sie das Datum überprüfen, an dem Ihre robots.txt-Datei zuletzt geändert wurde. Wenn sie nach dem für den Fehler bei den Crawling-Fehlern angegebenen Datum geändert wurde, hat möglicherweise jemand die Datei so geändert, dass die neue Version diese URL nicht mehr blockiert.

Auf Weiterleitungen der URL prüfen

Wenn Sie sicher sein können, dass diese URL nicht blockiert ist, überprüfen Sie, ob die URL auf eine andere Seite weiterleitet. Wenn der Googlebot eine URL abruft, überprüft er die robots.txt-Datei, um sicherzustellen, dass er auf die URL zugreifen darf. Wenn die robots.txt-Datei den Zugriff auf die URL erlaubt, die URL jedoch eine Weiterleitung zurückgibt, überprüft der Googlebot die robots.txt-Datei erneut, um festzustellen, ob die Ziel-URL zugänglich ist. Wenn der Googlebot zu irgendeinem Zeitpunkt auf eine blockierte URL weitergeleitet wird, meldet er, dass er den Inhalt der ursprünglichen URL nicht abrufen konnte, da er durch robots.txt blockiert wurde.

• Manchmal ist dieses Verhalten leicht zu erkennen, da eine bestimmte URL immer auf eine andere weiterleitet. Manchmal kann dies jedoch knifflig herauszufinden sein. Zum Beispiel:
• Ihre Website hat möglicherweise überhaupt keine robots.txt-Datei (und erlaubt daher den Zugriff auf alle Seiten), aber eine URL auf der Website leitet möglicherweise auf eine andere Website weiter, die eine robots.txt-Datei hat. In diesem Fall sehen Sie möglicherweise von robots.txt blockierte URLs für Ihre Website (obwohl Sie keine robots.txt-Datei haben).

Ihre Website fordert möglicherweise nach einer bestimmten Anzahl von Seitenaufrufen zur Registrierung auf. Möglicherweise haben Sie die Registrierungsseite durch eine robots.txt-Datei blockiert. In diesem Fall leitet die URL selbst möglicherweise nicht weiter, aber wenn der Googlebot beim Zugriff auf die URL die Registrierungsaufforderung auslöst, wird er zur blockierten Registrierungsseite weitergeleitet und die ursprüngliche URL wird auf der Seite mit den Crawling-Fehlern als durch robots.txt blockiert aufgeführt.

Um Hilfe bitten
Wenn Sie das Problem schließlich immer noch nicht genau bestimmen können, möchten Sie vielleicht in unserem
Forum

um Hilfe bitten. Achten Sie darauf, die blockierte URL in Ihre Nachricht aufzunehmen. Manchmal ist es für andere einfacher, Versehen zu bemerken, die Sie vielleicht übersehen haben. Viel Erfolg bei der Fehlerbehebung! Und übrigens — unabhängig von robots.txt — stellen Sie sicher, dass Sie keine noindex Meta-