Verwendung einer robots.txt-Datei

24. Februar 2006

Vor ein paar Wochen haben wir
eine robots.txt eingeführt
Analyse-Tool. Dieses Tool gibt Ihnen Informationen darüber, wie
Googlebot
interpretiert Ihre robots.txt-Datei. Sie können mehr darüber lesen in
robots.txt Robots Exclusion Standard, aber wir dachten, wir beantworten hier einige häufig gestellte Fragen.

Was ist eine robots.txt-Datei?

Eine robots.txt-Datei stellt Einschränkungen für Suchmaschinen-Bots (bekannt als „Bots“) bereit, die das Web durchsuchen. Diese Bots sind automatisiert, und bevor sie auf Seiten einer Website zugreifen, prüfen sie, ob eine robots.txt-Datei vorhanden ist, die sie am Zugriff auf bestimmte Seiten hindert.

Benötigt meine Website eine robots.txt-Datei?

Nur wenn Ihre Website Inhalte enthält, die von Suchmaschinen nicht indexiert werden sollen. Wenn Suchmaschinen alles auf Ihrer Website indexieren sollen, benötigen Sie keine robots.txt-Datei (nicht einmal eine leere).

Wo sollte sich die robots.txt-Datei befinden?

Die robots.txt-Datei muss sich im Stammverzeichnis der Domain befinden. Eine robots.txt-Datei in einem Unterverzeichnis ist ungültig, da Bots nur im Stammverzeichnis danach suchen. Zum Beispiel ist https://www.example.com/robots.txt ein gültiger Speicherort. Aber
https://www.example.com/mysite/robots.txt ist es nicht. Wenn Sie keinen Zugriff auf das Stammverzeichnis haben, können Sie den Zugriff über das
Robots META-Tag einschränken.

Wie erstelle ich eine robots.txt-Datei?

Sie können diese Datei in jedem Texteditor erstellen. Sie sollte eine
ASCII-kodierte Textdateisein, keine HTML-Datei. Der Dateiname sollte in Kleinbuchstaben geschrieben sein.

Wie sollte die Syntax meiner robots.txt-Datei aussehen?

Die einfachste robots.txt-Datei verwendet zwei Regeln:

• User-Agent: der Bot, für den folgende Regel gilt
• Disallow: die Seiten, die Sie blockieren möchten

Diese beiden Zeilen gelten als einzelner Eintrag in der Datei. Sie können so viele Einträge hinzufügen, wie Sie möchten. Sie können mehrere Disallow-Zeilen in einen Eintrag aufnehmen.

User-Agent

Ein User-Agent ist ein spezifischer Suchmaschinen-Bot.
Web Robots Database
listet viele gängige Bots auf. Sie können festlegen, dass ein Eintrag für einen bestimmten Bot gilt (indem Sie den Namen auflisten) oder für alle Bots (indem Sie ein Sternchen auflisten). Ein Eintrag für alle Bots sieht so aus:

Disallow

Das Disallow listet die Seiten auf, die Sie blockieren möchten. Sie können eine bestimmte URL oder ein Muster auflisten. Der Eintrag sollte mit einem Schrägstrich (/) beginnen.

• Um die gesamte Website zu blockieren, verwenden Sie einen Schrägstrich: Disallow: /
• Um ein Verzeichnis zu blockieren, folgt auf den Verzeichnisnamen ein Schrägstrich:
  Disallow: /private_directory/
• Um eine Seite zu blockieren, listen Sie die Seite auf:
  Disallow: /private_file.html

URLs unterscheiden zwischen Groß- und Kleinschreibung. Zum Beispiel Disallow: /private_file.html würde blockieren
https://www.example.com/private_file.html, würde aber erlauben
https://www.example.com/Private_File.html.

Wie blockiere ich Googlebot?

Google verwendet mehrere User-Agents. Sie können den Zugriff auf jeden davon blockieren, indem Sie den Bot-Namen in der User-Agent-Zeile eines Eintrags angeben.

• Googlebot: durchsucht Seiten unseres
  Web-Index.
• Googlebot-Mobile: durchsucht Seiten für unseren
  Mobilindex.
• Googlebot-Image: durchsucht Seiten für unseren
  Bilderindex.
• Mediapartners-Google: durchsucht Seiten zur Bestimmung
  AdSense-Inhalt
  (wird nur verwendet, wenn Sie AdSense-Anzeigen auf Ihrer Website schalten).

Kann ich Seiten erlauben?

Ja, Googlebot erkennt eine Erweiterung des robots.txt-Standards namens Allow. Diese Erweiterung wird möglicherweise nicht von allen anderen Suchmaschinen-Bots erkannt. Erkundigen Sie sich daher bei anderen Suchmaschinen, die Sie interessieren. Die Allow Zeile funktioniert genau wie die
Disallow Zeile. Listen Sie einfach ein Verzeichnis oder eine Seite auf, die Sie erlauben möchten.

Möglicherweise möchten Sie verwenden Disallow und Allow zusammen. Um beispielsweise den Zugriff auf alle Seiten in einem Unterverzeichnis mit Ausnahme einer einzigen zu blockieren, können Sie die folgenden Einträge verwenden:

Diese Einträge würden alle Seiten im Ordner folder1 mit Ausnahme von
myfile.html.

Ich möchte nicht, dass bestimmte Seiten meiner Website indexiert werden, aber ich möchte AdSense-Anzeigen auf diesen Seiten schalten. Ist das möglich?

Ja, das ist möglich Disallow alle Bots außer Mediapartners-Google von diesen Seiten. Dadurch wird die Indexierung der Seiten verhindert, aber der
Googlebot-MediaPartners Bot kann die Seiten analysieren, um die anzuzeigenden Anzeigen zu bestimmen.
Googlebot-MediaPartners Bot teilt Seiten nicht mit den anderen Google-User-Agents. Sie könnten zum Beispiel die folgenden Einträge verwenden:

Ich möchte nicht jede Datei auflisten, die ich blockieren möchte. Kann ich Musterabgleiche verwenden?

Ja, Googlebot interpretiert einige Musterabgleiche. Dies ist eine Erweiterung des Standards, daher folgen möglicherweise nicht alle Bots diesem.

Abgleich einer Zeichenfolge

Sie können ein Sternchen (*) verwenden, um eine Zeichenfolge abzugleichen. Um beispielsweise den Zugriff auf alle Unterverzeichnisse zu blockieren, die mit privatebeginnen, könnten Sie den folgenden Eintrag verwenden:

Wie kann ich sicherstellen, dass meine Dateiblockierungen und -zulassungen wie gewünscht funktionieren?

Sie können unser
robots.txt-Analysetool verwenden, um:

• Bestimmte URLs zu überprüfen, um zu sehen, ob Ihre robots.txt-Datei sie zulässt oder blockiert.
• Zu sehen, ob Googlebot Probleme beim Parsen von Zeilen in Ihrer robots.txt-Datei hatte.
• Änderungen an Ihrer robots.txt-Datei zu testen.

Wenn Sie derzeit keine robots.txt-Datei verwenden, können Sie eine erstellen und sie mit dem Tool testen, bevor Sie sie auf Ihre Website hochladen.

Wenn ich meine robots.txt-Datei ändere oder eine neue hochlade, wie schnell wird sie wirksam?

Wir laden robots.txt-Dateien im Allgemeinen etwa einmal täglich herunter. Sie können den Zeitpunkt unseres letzten Downloads Ihrer Datei sehen, indem Sie auf den Tab „robots.txt“ in Ihrem Sitemaps-Konto zugreifen und das
Letzter Download Datum und die Uhrzeit überprüfen.

Gepostet von Vanessa Fox