Wie man robots.txt verwendet

Samstag, 1. März 2008

A robots.txt
bietet Einschränkungen für Suchmaschinen-Crawler (bekannt als „Bots“). Diese Bots sind automatisiert, und bevor sie auf Seiten einer Website zugreifen, prüfen sie, ob eine robots.txt-Datei existiert, die ihnen den Zugriff auf bestimmte Seiten verwehrt. Wenn Sie einige Ihrer Inhalte vor der Indexierung durch Suchmaschinen schützen möchten, ist robots.txt ein einfaches Werkzeug dafür. In diesem Beitrag möchten wir besprechen, wie man es verwendet.

Robots.txt platzieren

Die robots.txt-Datei ist eine Textdatei mit einem oder mehreren Einträgen. Die robots.txt-Datei muss sich im Stammverzeichnis (Root) der Domain befinden und exakt robots.txt heißen. Eine robots.txt-Datei in einem Unterverzeichnis ist ungültig, da Bots nur im Stammverzeichnis der Domain nach dieser Datei suchen.

Zum Beispiel,
https://www.example.com/robots.txt ist ein gültiger Speicherort. Aber,
https://www.example.com/mysite/robots.txt ist es nicht.

Beispiel für eine robots.txt:

Ganze Website mit einer robots.txt-Datei blockieren oder entfernen

Um Ihre Website aus den Suchmaschinen zu entfernen und alle Robots daran zu hindern, sie in Zukunft zu crawlen, platzieren Sie folgende robots.txt-Datei im Stammverzeichnis Ihres Servers:

Um Ihre Website nur aus Google zu entfernen und zu verhindern, dass nur Googlebot Ihre Website in Zukunft crawlt, platzieren Sie folgende robots.txt-Datei im Stammverzeichnis Ihres Servers:

Jeder Port muss eine eigene robots.txt-Datei haben. Insbesondere wenn Sie Inhalte über sowohl http als auch https bereitstellen, benötigen Sie für jedes dieser Protokolle eine separate robots.txt-Datei. Um beispielsweise Googlebot zu erlauben, alle http-Seiten, aber keine https-Seiten zu indexieren, würden Sie die folgenden robots.txt-Dateien verwenden.

Für Ihr http-Protokoll (https://example.com/robots.txt):

Für das https-Protokoll (https://yourserver.com/robots.txt):

Allen Robots vollen Zugriff gewähren

(alternative Lösung: Erstellen Sie einfach eine leere „/robots.txt“-Datei oder verwenden Sie gar keine.)

Seiten mit einer robots.txt-Datei blockieren oder entfernen

Sie können eine robots.txt-Datei verwenden, um den Googlebot daran zu hindern, Seiten auf Ihrer Website zu crawlen.

Wenn Sie beispielsweise manuell eine robots.txt-Datei erstellen, um den Googlebot daran zu hindern, alle Seiten unter einem bestimmten Verzeichnis (z. B. private) zu crawlen, würden Sie folgenden robots.txt-Eintrag verwenden:

Um den Googlebot daran zu hindern, alle Dateien eines bestimmten Dateityps (z. B. .gif) zu crawlen, würden Sie folgenden robots.txt-Eintrag verwenden:

Um den Googlebot daran zu hindern, URLs zu crawlen, die Folgendes enthalten: ? (genauer gesagt jede URL, die mit Ihrem Domainnamen beginnt, gefolgt von einer beliebigen Zeichenfolge, gefolgt von einem Fragezeichen, gefolgt von einer beliebigen Zeichenfolge):

Obwohl wir den Inhalt von durch robots.txt blockierten Seiten nicht crawlen oder indexieren, können wir die URLs dennoch crawlen und indexieren, wenn wir sie auf anderen Seiten im Web finden. Infolgedessen können die URL der Seite oder andere öffentlich verfügbare Informationen wie Ankertext in Links zur Website in den Google-Suchergebnissen erscheinen. Es werden jedoch keine Inhalte von Ihren Seiten gecrawlt, indexiert oder angezeigt.

Als Teil der Webmaster-Tools bietet Google
robots.txt-Analyse-Tool. Das Tool liest die robots.txt-Datei auf dieselbe Weise wie der Googlebot und liefert Ihnen Ergebnisse für Google-User-Agents. Wir empfehlen dringend, es zu verwenden. Bevor Sie eine robots.txt erstellen, sollten Sie darüber nachdenken, wie viele Informationen Sie mit anderen teilen oder lieber privat halten möchten. Denken Sie daran, dass Suchmaschinen ein guter Weg sind, um Ihre Inhalte öffentlich zugänglicher zu machen. Durch die korrekte Verwendung von robots.txt besuchen die Nutzer Ihre Website gerne über Suchmaschinen, während Sie gleichzeitig verhindern können, dass Ihre privaten Informationen preisgegeben werden.

Von Chao Ma, In Hyuk Seok