So schreiben und übermitteln Sie eine robots.txt-Datei

Sie können
steuern, auf welche Dateien Crawler zugreifen dürfen
auf Ihrer Website mit einer robots.txt-Datei.

Eine robots.txt-Datei befindet sich im Stammverzeichnis Ihrer Website. Also für die Website www.example.com, befindet sich die robots.txt-Datei unter www.example.com/robots.txt. robots.txt ist eine einfache Textdatei, die dem
Robots Exclusion Standardfolgt. Eine robots.txt-Datei besteht aus einer oder mehreren Regeln. Jede Regel blockiert oder erlaubt den Zugriff für alle oder einen bestimmten Crawler auf einen angegebenen Dateipfad auf der Domain oder Subdomain, auf der die robots.txt-Datei gehostet wird. Sofern Sie in Ihrer robots.txt-Datei nichts anderes angeben, ist das Crawlen aller Dateien implizit erlaubt.

Hier ist eine einfache robots.txt-Datei mit zwei Regeln:

Das bedeutet diese robots.txt-Datei:

1. Dem User-Agent namens Googlebot ist es nicht gestattet, URLs zu crawlen, die mit
   https://example.com/nogooglebot/.
2. beginnen. Allen anderen User-Agents ist es gestattet, die gesamte Website zu crawlen. Dies hätte weggelassen werden können und das Ergebnis wäre dasselbe gewesen; das Standardverhalten ist, dass User-Agents die gesamte Website crawlen dürfen.
3. Die Sitemap-Datei der Website befindet sich unter
   https://www.example.com/sitemap.xml.

Weitere Beispiele finden Sie im Abschnitt Syntax .

Grundlegende Richtlinien für die Erstellung einer robots.txt-Datei

Das Erstellen einer robots.txt-Datei und deren allgemeine Zugänglichkeit und Nützlichkeit umfasst vier Schritte:

1. Erstellen Sie eine Datei namens robots.txt.
2. Fügen Sie der robots.txt-Datei Regeln hinzu.
3. Laden Sie die robots.txt-Datei in das Stammverzeichnis Ihrer Website hoch.
4. Testen Sie die robots.txt-Datei.

Erstellen Sie eine robots.txt-Datei

Sie können fast jeden Texteditor verwenden, um eine robots.txt-Datei zu erstellen. Zum Beispiel können Notepad, TextEdit, vi und emacs gültige robots.txt-Dateien erstellen. Verwenden Sie keine Textverarbeitung; Textverarbeitungsprogramme speichern Dateien oft in einem proprietären Format und können unerwartete Zeichen hinzufügen, wie z. B. geschweifte Anführungszeichen, die Probleme für Crawler verursachen können. Stellen Sie sicher, dass Sie die Datei mit UTF-8-Kodierung speichern, wenn Sie im Dialogfeld zum Speichern der Datei dazu aufgefordert werden.

Format- und Standortregeln:

• Die Datei muss robots.txt heißen.
• Ihre Website kann nur eine robots.txt-Datei haben.
• Die robots.txt-Datei muss sich im Stammverzeichnis des Website-Hosts befinden, auf den sie angewendet wird. Um beispielsweise das Crawlen auf allen URLs unter
  https://www.example.com/zu steuern, muss sich die robots.txt-Datei unter
  https://www.example.com/robots.txtbefinden. Sie kann nicht in einem Unterverzeichnis platziert werden (zum Beispiel unter https://example.com/pages/robots.txt). Wenn Sie sich nicht sicher sind, wie Sie auf Ihr Website-Stammverzeichnis zugreifen können, oder Berechtigungen dazu benötigen, wenden Sie sich an Ihren Webhosting-Dienstanbieter. Wenn Sie nicht auf Ihr Website-Stammverzeichnis zugreifen können, verwenden Sie eine alternative Blockierungsmethode wie meta Schlagwörter.
• Eine robots.txt-Datei kann auf einer Subdomain (zum Beispiel
  https://site.example.com/robots.txt) oder auf nicht standardmäßigen Ports (zum Beispiel https://example.com:8181/robots.txt).
• Eine robots.txt-Datei gilt nur für Pfade innerhalb des Protokolls, Hosts und Ports, auf denen sie veröffentlicht ist. Das heißt, Regeln in https://example.com/robots.txt gelten nur für Dateien unter
  https://example.com/, nicht für Subdomains wie
  https://m.example.com/, oder alternative Protokolle wie
  http://example.com/.
• Eine robots.txt-Datei muss eine UTF-8-kodierte Textdatei sein (einschließlich ASCII). Google ignoriert möglicherweise Zeichen, die nicht Teil des UTF-8-Bereichs sind, was robots.txt-Regeln möglicherweise ungültig macht.

So schreiben Sie robots.txt-Regeln

Regeln sind Anweisungen für Crawler darüber, welche Teile Ihrer Website sie crawlen können. Befolgen Sie diese Richtlinien, wenn Sie Ihrer robots.txt-Datei Regeln hinzufügen:

• Eine robots.txt-Datei besteht aus einer oder mehreren Gruppen (Regelsätzen).
• Jede Gruppe besteht aus mehreren Regeln (auch Direktiven genannt), eine Regel pro Zeile. Jede Gruppe beginnt mit einer User-agent Zeile, die das Ziel der Gruppen angibt.
• Eine Gruppe gibt die folgenden Informationen an:
  • Für wen die Gruppe gilt (der User-Agent).
  • Auf welche Verzeichnisse oder Dateien dieser Agent zugreifen kann .
  • Auf welche Verzeichnisse oder Dateien dieser Agent nicht zugreifen kann .
• Crawler verarbeiten Gruppen von oben nach unten. Ein User-Agent kann nur mit einem Regelsatz übereinstimmen, der die erste, spezifischste Gruppe ist, die mit einem bestimmten User-Agent übereinstimmt. Wenn es mehrere Gruppen für denselben User-Agent gibt, werden die Gruppen vor der Verarbeitung zu einer einzigen Gruppe zusammengefasst.
• Die Standardannahme ist, dass ein User-Agent jede Seite oder jedes Verzeichnis crawlen kann, das nicht durch eine
  disallow Regel blockiert ist.
• Regeln unterscheiden zwischen Groß- und Kleinschreibung. Zum Beispiel gilt disallow: /file.asp für
  https://www.example.com/file.asp, aber nicht für
  https://www.example.com/FILE.asp.
• Das # Zeichen markiert den Beginn eines Kommentars. Kommentare werden bei der Verarbeitung ignoriert.

Google-Crawler unterstützen die folgenden Regeln in robots.txt-Dateien:

• user-agent: [Erforderlich, eine oder mehrere pro Gruppe] Die Regel gibt den Namen des automatischen Clients an, der als Suchmaschinen-Crawler bekannt ist und auf den die Regel angewendet wird. Dies ist die erste Zeile für jede Regelgruppe. Google User-Agent-Namen sind in der
  Google-Liste der User-Agentsaufgeführt. Die Verwendung eines Sternchens (*) entspricht allen Crawlern außer den verschiedenen AdsBot-Crawlern, die explizit benannt werden müssen. Zum Beispiel:*disallow:
• [Mindestens ein oder mehrere disallow oder allow
  Einträge pro Regel] Ein Verzeichnis oder eine Seite relativ zur Stammdomäne, die der User-Agent nicht crawlen soll. Wenn sich die Regel auf eine Seite bezieht, muss es der vollständige Seitenname sein, wie er im Browser angezeigt wird. Sie muss mit einem Zeichen beginnen, und wenn sie sich auf ein Verzeichnis bezieht, muss sie mit dem / Zeichen enden. / allow:
• [Mindestens ein oder mehrere disallow oder allow
  Einträge pro Regel] Ein Verzeichnis oder eine Seite relativ zur Stammdomäne, die vom gerade erwähnten User-Agent gecrawlt werden darf. Dies wird verwendet, um eine disallow
  Regel zu überschreiben, um das Crawlen eines Unterverzeichnisses oder einer Seite in einem nicht zugelassenen Verzeichnis zu ermöglichen. Geben Sie für eine einzelne Seite den vollständigen Seitennamen an, wie er im Browser angezeigt wird. Sie muss mit einem Zeichen beginnen, und wenn sie sich auf ein Verzeichnis bezieht, muss sie mit dem / Zeichen enden.
  / sitemap:
• [Optional, null oder mehr pro Datei] Der Speicherort einer Sitemap für diese Website. Die Sitemap-URL muss eine voll qualifizierte URL sein; Google geht nicht von http/https/www.non-www-Alternativen aus und prüft diese auch nicht. Sitemaps sind eine gute Möglichkeit, anzugeben, welche Inhalte Google crawlen sollte, im Gegensatz zu Inhalten, die es kann
  oder nicht crawlen kann. Erfahren Sie mehr über Sitemaps. Beispiel:
  Alle Regeln außer
  sitemap

unterstützen das Wildcard-Zeichen für ein Pfadpräfix, Suffix oder die gesamte Zeichenfolge.Zeilen, die keiner dieser Regeln entsprechen, werden ignoriert. * Lesen Sie unsere Seite über

Googles Interpretation der robots.txt-Spezifikation

für die vollständige Beschreibung jeder Regel.
Laden Sie die robots.txt-Datei hoch
Sobald Sie Ihre robots.txt-Datei auf Ihrem Computer gespeichert haben, sind Sie bereit, sie für Suchmaschinen-Crawler verfügbar zu machen. Es gibt kein einzelnes Tool, das Ihnen dabei helfen kann, da das Hochladen der robots.txt-Datei auf Ihre Website von Ihrer Website- und Serverarchitektur abhängt. Kontaktieren Sie Ihren Hosting-Anbieter oder durchsuchen Sie die Dokumentation Ihres Hosting-Anbieters; suchen Sie zum Beispiel nach “upload files infomaniak”.

Nachdem Sie die robots.txt-Datei hochgeladen haben, testen Sie, ob sie öffentlich zugänglich ist und ob Google sie parsen kann.

Testen Sie das robots.txt-Markup

Um zu testen, ob Ihre neu hochgeladene robots.txt-Datei öffentlich zugänglich ist, öffnen Sie ein

privates Browserfenster

(oder ein gleichwertiges) in Ihrem Browser und navigieren Sie zum Speicherort der robots.txt-Datei. Zum Beispiel:
https://example.com/robots.txt
. Wenn Sie den Inhalt Ihrer robots.txt-Datei sehen, sind Sie bereit, das Markup zu testen. Google bietet zwei Optionen zur Behebung von Problemen mit dem robots.txt-Markup:Der

robots.txt-Bericht

1. in der Search Console. Sie können diesen Bericht nur für robots.txt-Dateien verwenden, die bereits auf Ihrer Website zugänglich sind.
   Wenn Sie Entwickler sind, sehen Sie sich Googles Open-Source-robots.txt-Bibliothek
2. an, die auch in der Google-Suche verwendet wird. Sie können dieses Tool verwenden, um robots.txt-Dateien lokal auf Ihrem Computer zu testen.
   Senden Sie die robots.txt-Datei an GoogleSobald Sie Ihre robots.txt-Datei hochgeladen und getestet haben, werden Googles Crawler Ihre robots.txt-Datei automatisch finden und verwenden. Sie müssen nichts weiter tun. Wenn Sie Ihre robots.txt-Datei aktualisiert haben und die zwischengespeicherte Kopie von Google so schnell wie möglich aktualisieren müssen, erfahren Sie,

wie Sie eine aktualisierte robots.txt-Datei einreichen

Wie man eine robots.txt-Datei schreibt und einreicht | Alien Road
Eine robots.txt-Datei befindet sich im Stammverzeichnis Ihrer Website. Erfahren Sie, wie Sie eine robots.txt-Datei erstellen, sehen Sie Beispiele und erkunden Sie robots.txt-Regeln..