{"id":25672,"date":"2026-09-06T00:47:45","date_gmt":"2026-09-05T21:47:45","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/how-to-write-and-submit-a-robots-txt-file\/"},"modified":"2026-09-06T00:51:44","modified_gmt":"2026-09-05T21:51:44","slug":"how-to-write-and-submit-a-robots-txt-file","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/how-to-write-and-submit-a-robots-txt-file\/","title":{"rendered":"So erstellen und \u00fcbermitteln Sie eine robots.txt-Datei"},"content":{"rendered":"<aside class=\"key-point\">\n<p>\n    <b>Wenn Sie einen Website-Hosting-Dienst wie Wix oder Blogger nutzen<\/b>, m\u00fcssen oder k\u00f6nnen Sie Ihre robots.txt-Datei m\u00f6glicherweise nicht direkt bearbeiten. Stattdessen stellt Ihr Anbieter eventuell eine Seite f\u00fcr Sucheinstellungen oder einen anderen Mechanismus bereit, mit dem Sie Suchmaschinen mitteilen k\u00f6nnen, ob Ihre Seite gecrawlt werden soll oder nicht.\n  <\/p>\n<p>\n    Wenn Sie eine Ihrer Seiten vor Suchmaschinen verbergen oder wieder sichtbar machen m\u00f6chten, suchen Sie in der Dokumentation Ihres Hosting-Anbieters nach Anleitungen zur \u00c4nderung der Seitensichtbarkeit, zum Beispiel: \u201eWix Seite vor Suchmaschinen verbergen\u201c.\n  <\/p>\n<\/aside>\n<p>\n  Sie k\u00f6nnen mit einer robots.txt-Datei<br \/>\n  <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/robots-txt-intro\/\">steuern, auf welche Dateien Crawler zugreifen d\u00fcrfen<\/a><br \/>\n  auf Ihrer Website.\n<\/p>\n<p>\n  Eine robots.txt-Datei befindet sich im Stammverzeichnis Ihrer Website. F\u00fcr die Website <code>www.example.com<\/code> liegt die robots.txt-Datei also unter <code>www.example.com\/robots.txt<\/code>. robots.txt ist eine einfache Textdatei, die dem<br \/>\n  <a href=\"https:\/\/en.wikipedia.org\/wiki\/Robots_exclusion_standard#About_the_standard\" class=\"external-link\">Robots Exclusion Standard<\/a> folgt.<br \/>\n  Eine robots.txt-Datei besteht aus einer oder mehreren Regeln. Jede Regel blockiert oder erlaubt den Zugriff f\u00fcr alle oder einen bestimmten Crawler auf einen festgelegten Dateipfad auf der Domain oder Subdomain, auf der die robots.txt-Datei gehostet wird. Sofern Sie in Ihrer robots.txt-Datei nichts anderes angeben, ist das Crawlen aller Dateien implizit erlaubt.\n<\/p>\n<p>Hier ist eine einfache robots.txt-Datei mit zwei Regeln:<\/p>\n<div><\/div>\n<p><b>Das bedeutet diese robots.txt-Datei:<\/b><\/p>\n<ol>\n<li>\n    Dem User-Agent namens Googlebot ist es nicht gestattet, URLs zu crawlen, die mit<br \/>\n    <code>https:\/\/example.com\/nogooglebot\/<\/code> beginnen.\n  <\/li>\n<li>\n    Alle anderen User-Agents d\u00fcrfen die gesamte Website crawlen. Dies h\u00e4tte auch weggelassen werden k\u00f6nnen, das Ergebnis w\u00e4re dasselbe; das Standardverhalten ist, dass User-Agents die gesamte Website crawlen d\u00fcrfen.\n  <\/li>\n<li>\n    Die <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/sitemaps-overview\/\">Sitemap-Datei<\/a> der Website befindet sich unter<br \/>\n    <code>https:\/\/www.example.com\/sitemap.xml<\/code>.\n  <\/li>\n<\/ol>\n<p>Weitere Beispiele finden Sie im Abschnitt <a href=\"#create_rules\">Syntax<\/a>.<\/p>\n<h2 id=\"learn_robots_txt_syntax\" tabindex=\"-1\">Grundlegende Richtlinien f\u00fcr die Erstellung einer robots.txt-Datei<\/h2>\n<p>\n  Die Erstellung einer robots.txt-Datei und deren allgemeine Zug\u00e4nglichkeit und N\u00fctzlichkeit umfasst vier Schritte:\n<\/p>\n<ol>\n<li><a href=\"#format_location\">Erstellen Sie eine Datei namens robots.txt<\/a>.<\/li>\n<li><a href=\"#create_rules\">F\u00fcgen Sie Regeln zur robots.txt-Datei hinzu<\/a>.<\/li>\n<li><a href=\"#upload\">Laden Sie die robots.txt-Datei in das Stammverzeichnis Ihrer Website hoch<\/a>.<\/li>\n<li><a href=\"#testing\">Testen Sie die robots.txt-Datei<\/a>.<\/li>\n<\/ol>\n<h2 id=\"format_location\" tabindex=\"-1\">Erstellen einer robots.txt-Datei<\/h2>\n<p>\n  Sie k\u00f6nnen fast jeden Texteditor verwenden, um eine robots.txt-Datei zu erstellen. Zum Beispiel k\u00f6nnen Notepad, TextEdit, vi und emacs g\u00fcltige robots.txt-Dateien erstellen. Verwenden Sie keine Textverarbeitungsprogramme; diese speichern Dateien oft in einem propriet\u00e4ren Format und k\u00f6nnen unerwartete Zeichen wie typografische Anf\u00fchrungszeichen hinzuf\u00fcgen, was zu Problemen f\u00fcr Crawler f\u00fchren kann. Achten Sie darauf, die Datei mit UTF-8-Kodierung zu speichern, falls Sie im Dialogfeld zum Speichern dazu aufgefordert werden.\n<\/p>\n<p><b>Regeln f\u00fcr Format und Speicherort:<\/b><\/p>\n<ul>\n<li>Die Datei muss den Namen robots.txt tragen.<\/li>\n<li>Ihre Website darf nur eine robots.txt-Datei haben.<\/li>\n<li>\n    Die robots.txt-Datei muss sich im Stammverzeichnis des Website-Hosts befinden, f\u00fcr den sie gilt. Um beispielsweise das Crawlen aller URLs unter <code>https:\/\/www.example.com\/<\/code> zu steuern, muss die robots.txt-Datei unter <code>https:\/\/www.example.com\/robots.txt<\/code> liegen. Sie <i>kann nicht<\/i> in einem Unterverzeichnis platziert werden (z. B. unter <code>https:\/\/example.com\/pages\/robots.txt<\/code>). Wenn Sie sich nicht sicher sind, wie Sie auf Ihr Website-Stammverzeichnis zugreifen k\u00f6nnen, oder Berechtigungen daf\u00fcr ben\u00f6tigen, wenden Sie sich an Ihren Webhosting-Anbieter. Wenn Sie nicht auf Ihr Stammverzeichnis zugreifen k\u00f6nnen, verwenden Sie eine alternative Blockierungsmethode wie <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/block-search-indexing-with-noindex\/\"><code>meta<\/code>-Tags<\/a>.\n  <\/li>\n<li>\n    Eine robots.txt-Datei kann auf einer Subdomain (z. B. <code>https:\/\/<b>site<\/b>.example.com\/robots.txt<\/code>) oder auf nicht standardm\u00e4\u00dfigen Ports (z. B. <code>https:\/\/example.com:<b>8181<\/b>\/robots.txt<\/code>) ver\u00f6ffentlicht werden.\n  <\/li>\n<li>Eine robots.txt-Datei gilt nur f\u00fcr Pfade innerhalb des Protokolls, des Hosts und des Ports, unter denen sie ver\u00f6ffentlicht ist. Das bedeutet, Regeln in <code>https:\/\/example.com\/robots.txt<\/code> gelten nur f\u00fcr Dateien unter <code>https:\/\/example.com\/<\/code>, nicht f\u00fcr Subdomains wie <code>https:\/\/m.example.com\/<\/code> oder alternative Protokolle wie <code>http:\/\/example.com\/<\/code>.\n  <\/li>\n<li>\n    Eine robots.txt-Datei muss eine UTF-8-kodierte Textdatei sein (was ASCII einschlie\u00dft). Google ignoriert m\u00f6glicherweise Zeichen, die nicht zum UTF-8-Bereich geh\u00f6ren, wodurch robots.txt-Regeln m\u00f6glicherweise ung\u00fcltig werden.\n  <\/li>\n<\/ul>\n<h2 id=\"create_rules\" tabindex=\"-1\">So schreiben Sie robots.txt-Regeln<\/h2>\n<p>\n  Regeln sind Anweisungen f\u00fcr Crawler, welche Teile Ihrer Website sie crawlen d\u00fcrfen. Befolgen Sie diese Richtlinien, wenn Sie Regeln zu Ihrer robots.txt-Datei hinzuf\u00fcgen:\n<\/p>\n<ul>\n<li>Eine robots.txt-Datei besteht aus einer oder mehreren Gruppen (Regels\u00e4tzen).<\/li>\n<li>\n    Jede Gruppe besteht aus mehreren Regeln (auch Direktiven genannt), eine Regel pro Zeile. Jede Gruppe beginnt mit einer <code>User-agent<\/code>-Zeile, die das Ziel der Gruppe angibt.\n  <\/li>\n<li>Eine Gruppe liefert folgende Informationen:\n<ul>\n<li>F\u00fcr wen die Gruppe gilt (der User-Agent).<\/li>\n<li>Auf welche Verzeichnisse oder Dateien dieser Agent zugreifen <i>kann<\/i>.<\/li>\n<li>Auf welche Verzeichnisse oder Dateien dieser Agent <i>nicht<\/i> zugreifen kann.<\/li>\n<\/ul>\n<\/li>\n<li>\n    Crawler verarbeiten Gruppen von oben nach unten. Ein User-Agent kann nur mit einem Regelsatz \u00fcbereinstimmen, und zwar mit der ersten, spezifischsten Gruppe, die auf den jeweiligen User-Agent zutrifft. Wenn es mehrere Gruppen f\u00fcr denselben User-Agent gibt, werden diese vor der Verarbeitung zu einer einzigen Gruppe zusammengefasst.\n  <\/li>\n<li>\n    Die Standardannahme ist, dass ein User-Agent jede Seite oder jedes Verzeichnis crawlen kann, das nicht durch eine <code>disallow<\/code>-Regel blockiert ist.\n  <\/li>\n<li>\n    Regeln unterscheiden zwischen Gro\u00df- und Kleinschreibung. Zum Beispiel gilt <code>disallow: \/file.asp<\/code> f\u00fcr <code>https:\/\/www.example.com\/file.asp<\/code>, aber nicht f\u00fcr <code>https:\/\/www.example.com\/FILE.asp<\/code>.\n  <\/li>\n<li>\n    Das Zeichen <code>#<\/code> markiert den Beginn eines Kommentars. Kommentare werden bei der Verarbeitung ignoriert.\n  <\/li>\n<\/ul>\n<p><b>Googles Crawler unterst\u00fctzen die folgenden Regeln in robots.txt-Dateien:<\/b><\/p>\n<ul>\n<li>\n    <code>user-agent:<\/code> [Erforderlich, eine oder mehrere pro Gruppe] Die Regel gibt den Namen des automatischen Clients an, der als Suchmaschinen-Crawler bekannt ist und auf den die Regel angewendet wird. Dies ist die erste Zeile jeder Regelgruppe. Die Namen der Google User-Agents sind in der <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/overview-google-crawlers\">Google-Liste der User-Agents<\/a> aufgef\u00fchrt. Die Verwendung eines Sternchens (<code>*<\/code>) entspricht allen Crawlern au\u00dfer den verschiedenen AdsBot-Crawlern, die explizit benannt werden m\u00fcssen. Zum Beispiel:<\/p>\n<div><\/div>\n<\/li>\n<li>\n    <code>disallow:<\/code> [Mindestens ein oder mehrere <code>disallow<\/code>&#8211; oder <code>allow<\/code>-Eintr\u00e4ge pro Regel] Ein Verzeichnis oder eine Seite, relativ zur Stamm-Domain, die der User-Agent nicht crawlen soll. Wenn sich die Regel auf eine Seite bezieht, muss es der vollst\u00e4ndige Seitenname sein, wie er im Browser angezeigt wird. Sie muss mit einem <code>\/<\/code>-Zeichen beginnen, und wenn sie sich auf ein Verzeichnis bezieht, muss sie mit dem <code>\/<\/code>-Zeichen enden.\n  <\/li>\n<li>\n    <code>allow:<\/code> [Mindestens ein oder mehrere <code>disallow<\/code>&#8211; oder <code>allow<\/code>-Eintr\u00e4ge pro Regel] Ein Verzeichnis oder eine Seite, relativ zur Stamm-Domain, die vom gerade genannten User-Agent gecrawlt werden darf. Dies wird verwendet, um eine <code>disallow<\/code>-Regel aufzuheben und das Crawlen eines Unterverzeichnisses oder einer Seite in einem blockierten Verzeichnis zu erlauben. Geben Sie f\u00fcr eine einzelne Seite den vollst\u00e4ndigen Seitennamen an, wie er im Browser angezeigt wird. Sie muss mit einem <code>\/<\/code>-Zeichen beginnen, und wenn sie sich auf ein Verzeichnis bezieht, muss sie mit dem <code>\/<\/code>-Zeichen enden.\n  <\/li>\n<li>\n    <code>sitemap:<\/code> [Optional, null oder mehr pro Datei] Der Speicherort einer Sitemap f\u00fcr diese Website. Die Sitemap-URL muss eine vollst\u00e4ndig qualifizierte URL sein; Google geht nicht von http\/https\/www.\/non-www-Alternativen aus und pr\u00fcft diese auch nicht. Sitemaps sind eine gute M\u00f6glichkeit, um anzugeben, welche Inhalte Google crawlen sollte, im Gegensatz zu den Inhalten, die es crawlen <i>kann<\/i> oder <i>nicht kann<\/i>.<br \/>\n    <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/sitemaps-overview\/\">Erfahren Sie mehr \u00fcber Sitemaps.<\/a><br \/>\n    <b>Beispiel:<\/b><\/p>\n<div><\/div>\n<\/li>\n<\/ul>\n<p>\n  Alle Regeln, au\u00dfer <code>sitemap<\/code>, unterst\u00fctzen den <code>*<\/code>-Platzhalter f\u00fcr ein Pfadpr\u00e4fix, -suffix oder eine ganze Zeichenfolge.\n<\/p>\n<p>Zeilen, die keiner dieser Regeln entsprechen, werden ignoriert.<\/p>\n<p>\n  Lesen Sie unsere Seite \u00fcber die <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/how-google-interprets-the-robots-txt-specification\/\">Interpretation der robots.txt-Spezifikation durch Google<\/a> f\u00fcr eine vollst\u00e4ndige Beschreibung jeder Regel.\n<\/p>\n<h2 id=\"upload\" tabindex=\"-1\">Hochladen der robots.txt-Datei<\/h2>\n<p>\n  Sobald Sie Ihre robots.txt-Datei auf Ihrem Computer gespeichert haben, k\u00f6nnen Sie sie f\u00fcr Suchmaschinen-Crawler verf\u00fcgbar machen. Es gibt kein einzelnes Tool, das Ihnen dabei helfen kann, da das Hochladen der robots.txt-Datei auf Ihre Website von Ihrer Website- und Serverarchitektur abh\u00e4ngt. Setzen Sie sich mit Ihrem Hosting-Unternehmen in Verbindung oder durchsuchen Sie dessen Dokumentation; suchen Sie beispielsweise nach \u201eDateien hochladen [Name des Anbieters]\u201c.\n<\/p>\n<p>\n  Nachdem Sie die robots.txt-Datei hochgeladen haben, testen Sie, ob sie \u00f6ffentlich zug\u00e4nglich ist und ob Google sie parsen kann.\n<\/p>\n<h2 id=\"testing\" tabindex=\"-1\">\n  Testen des robots.txt-Markups<br \/>\n<\/h2>\n<p>\n  Um zu testen, ob Ihre neu hochgeladene robots.txt-Datei \u00f6ffentlich zug\u00e4nglich ist, \u00f6ffnen Sie ein <a href=\"https:\/\/support.google.com\/chrome\/answer\/95464\" class=\"external-link\">privates Browserfenster<\/a> (oder ein \u00c4quivalent) in Ihrem Browser und navigieren Sie zum Speicherort der robots.txt-Datei. Zum Beispiel <code>https:\/\/example.com\/robots.txt<\/code>. Wenn Sie den Inhalt Ihrer robots.txt-Datei sehen, k\u00f6nnen Sie das Markup testen.\n<\/p>\n<p>Google bietet zwei Optionen zur Behebung von Problemen mit dem robots.txt-Markup:<\/p>\n<ol>\n<li>\n    Der <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062598\" class=\"external-link\">robots.txt-Bericht<\/a> in der Search Console. Sie k\u00f6nnen diesen Bericht nur f\u00fcr robots.txt-Dateien verwenden, die bereits auf Ihrer Website zug\u00e4nglich sind.\n  <\/li>\n<li>\n    Wenn Sie Entwickler sind, sehen Sie sich <a href=\"https:\/\/github.com\/google\/robotstxt\" class=\"external-link\">Googles Open-Source-robots.txt-Bibliothek<\/a> an, die auch in der Google Suche verwendet wird. Sie k\u00f6nnen dieses Tool verwenden, um robots.txt-Dateien lokal auf Ihrem Computer zu testen.\n  <\/li>\n<\/ol>\n<h2 id=\"submit\" tabindex=\"-1\">Einreichen der robots.txt-Datei bei Google<\/h2>\n<p>\n  Sobald Sie Ihre robots.txt-Datei hochgeladen und getestet haben, finden Googles Crawler diese automatisch und beginnen mit der Verwendung. Sie m\u00fcssen nichts weiter tun. Wenn Sie Ihre robots.txt-Datei aktualisiert haben und die zwischengespeicherte Kopie von Google so schnell wie m\u00f6glich aktualisieren m\u00fcssen, erfahren Sie hier, <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/update-your-robots-txt-file\/\">wie Sie eine aktualisierte robots.txt-Datei einreichen<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Eine robots.txt-Datei befindet sich im Root-Verzeichnis Ihrer Website. Erfahren Sie, wie Sie eine robots.txt-Datei erstellen, sehen Sie sich Beispiele an und erkunden Sie die Regeln f\u00fcr robots.txt.<\/p>\n","protected":false},"menu_order":7000,"template":"","meta":{"footnotes":""},"ar_kb_kategori":[708],"ar_kb_etiket":[],"class_list":["post-25672","ar_kb","type-ar_kb","status-publish","has-post-thumbnail","hentry","ar_kb_kategori-crawling-infrastructure-crawling-and-indexing"],"_links":{"self":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25672","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb"}],"about":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/types\/ar_kb"}],"version-history":[{"count":1,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25672\/revisions"}],"predecessor-version":[{"id":25693,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25672\/revisions\/25693"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media\/27667"}],"wp:attachment":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media?parent=25672"}],"wp:term":[{"taxonomy":"ar_kb_kategori","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_kategori?post=25672"},{"taxonomy":"ar_kb_etiket","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_etiket?post=25672"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}