Analyse einer robots.txt-Datei

10. Februar 2006

Anfang dieser Woche haben wir Ihnen von einer Funktion erzählt, die wir über das Sitemaps-Programm bereitgestellt haben und die
die robots.txt-Datei einer Website analysiert.
Hier sind weitere Details zu dieser Funktion.

Was die Analyse bedeutet

Das Sitemaps robots.txt-Tool liest die robots.txt-Datei auf dieselbe Weise wie Googlebot. Wenn das Tool eine Zeile als Syntaxfehler interpretiert, versteht Googlebot diese Zeile nicht. Wenn das Tool anzeigt, dass eine URL zulässig ist, interpretiert Googlebot diese URL als zulässig.

Dieses Tool liefert Ergebnisse nur für Google-User-Agents (wie Googlebot). Andere Bots interpretieren die robots.txt-Datei möglicherweise nicht auf dieselbe Weise. Zum Beispiel unterstützt Googlebot eine erweiterte Definition des Standards. Es versteht Allow: Zeilen sowie
* und $. Während das Tool also Zeilen, die diese Erweiterungen enthalten, als verstanden anzeigt, denken Sie daran, dass dies nur für Googlebot gilt und nicht unbedingt für andere Bots, die Ihre Website crawlen.

Unterverzeichnis-Websites

Eine robots.txt-Datei ist nur gültig, wenn sie sich im Stammverzeichnis einer Website befindet. Wenn Sie also eine Website in Ihrem Konto betrachten, die sich in einem Unterverzeichnis befindet (wie
https://www.example.com/mysite/), zeigen wir Ihnen Informationen über die robots.txt-Datei im Stammverzeichnis (https://www.example.com/robots.txt). Sie haben möglicherweise keinen Zugriff auf diese Datei, aber wir zeigen sie Ihnen, da die robots.txt-Datei das Crawling Ihrer Unterverzeichnis-Website beeinflussen kann und Sie sicherstellen möchten, dass URLs wie erwartet zugelassen werden.

Zugriff auf Verzeichnisse testen

Wenn Sie eine URL testen, die auf eine Datei verweist (wie
https://www.example.com/myfile.html), kann dieses Tool feststellen, ob die robots.txt-Datei diese Datei zulässt oder blockiert. Wenn Sie eine URL testen, die auf ein Verzeichnis verweist (wie
https://www.example.com/folder1/), kann dieses Tool feststellen, ob die robots.txt-Datei den Zugriff auf diese URL zulässt oder blockiert, aber es kann Ihnen nichts über den Zugriff auf die Dateien in diesem Ordner sagen. Die robots.txt-Datei hat möglicherweise Einschränkungen für URLs in dem Ordner festgelegt, die sich von der URL des Ordners selbst unterscheiden.

Betrachten Sie diese robots.txt-Datei:

Wenn Sie testen https://www.example.com/folder1/, wird das Tool sagen, dass sie blockiert ist. Aber wenn Sie testen https://www.example.com/folder1/myfile.html, werden Sie sehen, dass sie nicht blockiert ist, obwohl sie sich innerhalb von folder1.

Syntax nicht verstanden

Sie sehen möglicherweise aus einigen verschiedenen Gründen einen Fehler vom Typ „Syntax nicht verstanden“. Der häufigste Grund ist, dass Googlebot die Zeile nicht parsen konnte. Einige andere mögliche Gründe sind jedoch:

• Die Website hat keine robots.txt-Datei, aber der Server gibt einen Status von 200 für nicht gefundene Seiten zurück. Wenn der Server so konfiguriert ist, gibt der Server, wenn Googlebot die robots.txt-Datei anfordert, eine Seite zurück. Diese Seite ist jedoch eigentlich keine robots.txt-Datei, sodass Googlebot sie nicht verarbeiten kann.
• Die robots.txt-Datei ist keine gültige robots.txt-Datei. Wenn Googlebot eine robots.txt-Datei anfordert und einen anderen Dateityp erhält (zum Beispiel eine HTML-Datei), zeigt dieses Tool keinen Syntaxfehler für jede Zeile in der Datei an. Stattdessen zeigt es einen Fehler für die gesamte Datei an.
• Die robots.txt-Datei enthält eine Regel, die Googlebot nicht befolgt. Einige User-Agents befolgen andere Regeln als den
  robots.txt-Standard. Wenn Googlebot auf eine der häufigeren zusätzlichen Regeln stößt, listet das Tool diese als Syntaxfehler auf.

Bekannte Probleme

Wir arbeiten an einigen bekannten Problemen mit dem Tool, einschließlich der Art und Weise, wie das Tool Groß- und Kleinschreibung verarbeitet, und der Analyse mit anderen Google-User-Agents als Googlebot. Wir halten Sie auf dem Laufenden, sobald diese Probleme behoben sind.

Veröffentlicht von Vanessa Fox