Einführung in robots.txt

Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, auf welche URLs der Crawler auf Ihrer Website zugreifen kann.
Dies wird hauptsächlich verwendet, um eine Überlastung Ihrer Website durch Anfragen zu vermeiden; es ist kein
Mechanismus, um eine Webseite aus Google herauszuhalten. Um eine Webseite aus Google herauszuhalten,
blockieren Sie die Indexierung mit noindex
oder schützen Sie die Seite mit einem Passwort.

Wofür wird eine robots.txt-Datei verwendet?

Eine robots.txt-Datei wird hauptsächlich verwendet, um den Crawler-Traffic zu Ihrer Website zu verwalten, und
normalerweise , um eine Datei je nach Dateityp von Google fernzuhalten:

Auswirkungen von robots.txt auf verschiedene Dateitypen
Webseite	Sie können eine robots.txt-Datei für Webseiten (HTML, PDF oder andere Nicht-Medienformate, die Google lesen kann) verwenden, um den Crawling-Traffic zu verwalten, wenn Sie der Meinung sind, dass Ihr Server durch Anfragen von Googles Crawler überlastet wird, oder um das Crawlen unwichtiger oder ähnlicher Seiten auf Ihrer Website zu vermeiden. Wenn Ihre Webseite mit einer robots.txt-Datei blockiert ist, kann ihre URL weiterhin in den Suchergebnissen erscheinen, aber das Suchergebnis hat keine Beschreibung. Bilddateien, Videodateien, PDFs und andere in der blockierten Seite eingebettete Nicht-HTML-Dateien werden ebenfalls vom Crawling ausgeschlossen, es sei denn, sie werden von anderen Seiten referenziert, die für das Crawling zugelassen sind. Wenn Sie dieses Suchergebnis für Ihre Seite sehen und es beheben möchten, entfernen Sie den robots.txt-Eintrag, der die Seite blockiert. Wenn Sie die Seite vollständig vor der Suche verbergen möchten, verwenden Sie eine andere Methode.
Mediendatei	Verwenden Sie eine robots.txt-Datei, um den Crawl-Traffic zu verwalten und auch zu verhindern, dass Bild-, Video- und Audiodateien in den Google-Suchergebnissen erscheinen. Dies verhindert nicht, dass andere Seiten oder Benutzer auf Ihre Bild-, Video- oder Audiodatei verlinken. Lesen Sie mehr darüber, wie Sie verhindern, dass Bilder bei Google erscheinen. Lesen Sie mehr darüber, wie Sie entfernen oder einschränken können, dass Ihre Videodateien bei Google erscheinen.
Ressourcendatei	Sie können eine robots.txt-Datei verwenden, um Ressourcendateien wie unwichtige Bild-, Skript- oder Stildateien zu blockieren, wenn Sie der Meinung sind, dass ohne diese Ressourcen geladene Seiten vom Verlust nicht wesentlich betroffen sind. Wenn das Fehlen dieser Ressourcen es dem Crawler von Google jedoch erschwert, die Seite zu verstehen, blockieren Sie sie nicht, da Google sonst keine gute Arbeit bei der Analyse von Seiten leistet, die von diesen Ressourcen abhängen.

Verstehen Sie die Einschränkungen einer robots.txt-Datei

Bevor Sie eine robots.txt-Datei erstellen oder bearbeiten, sollten Sie die Grenzen dieser URL-Blockierungsmethode kennen. Je nach Ihren Zielen und Ihrer Situation möchten Sie vielleicht andere Mechanismen in Betracht ziehen, um sicherzustellen, dass Ihre URLs im Web nicht auffindbar sind.

• Robots.txt-Regeln werden möglicherweise nicht von allen Suchmaschinen unterstützt.
  Die Anweisungen in robots.txt-Dateien können das Crawler-Verhalten auf Ihrer Website nicht erzwingen; es liegt am Crawler, sie zu befolgen. Während Googlebot und andere respektable Web-Crawler die Anweisungen in einer robots.txt-Datei befolgen, tun andere Crawler dies möglicherweise nicht. Wenn Sie daher Informationen vor Web-Crawlern schützen möchten, ist es besser, andere Blockierungsmethoden zu verwenden, wie z. B.
  das Schützen privater Dateien auf Ihrem Server mit einem Passwort.
• Verschiedene Crawler interpretieren die Syntax unterschiedlich.
  Obwohl respektable Web-Crawler den Regeln in einer robots.txt-Datei folgen, kann jeder Crawler die Regeln unterschiedlich interpretieren. Sie sollten die
  korrekte Syntax kennen, um verschiedene Web-Crawler anzusprechen, da einige bestimmte Anweisungen möglicherweise nicht verstehen.
• Eine in robots.txt deaktivierte Seite kann
  trotzdem indexiert werden, wenn von anderen Websites darauf verlinkt wird.
  Während Google die durch eine robots.txt-Datei blockierten Inhalte nicht crawlt oder indexiert, können wir eine blockierte URL dennoch finden und indexieren, wenn sie von anderen Stellen im Web verlinkt wird. Infolgedessen können die URL-Adresse und möglicherweise andere öffentlich verfügbare Informationen wie Ankertext in Links zur Seite weiterhin in den Google-Suchergebnissen erscheinen. Um zu verhindern, dass Ihre URL in den Google-Suchergebnissen erscheint,
  schützen Sie die Dateien auf Ihrem Server mit einem Passwort,
  verwenden Sie den noindex Meta- Tag oder Antwort-Header, oder entfernen Sie die Seite vollständig.

Erstellen oder aktualisieren Sie eine robots.txt-Datei

Wenn Sie entschieden haben, dass Sie eine benötigen, erfahren Sie, wie Sie
eine robots.txt-Datei erstellen. Oder wenn
Sie bereits eine haben, erfahren Sie, wie Sie
sie aktualisieren.

Möchten Sie mehr erfahren? Schauen Sie sich die folgenden Ressourcen an:

• So schreiben und senden Sie eine robots.txt-Datei ein
• Aktualisieren Sie Ihre robots.txt-Datei
• Wie Google die robots.txt-Spezifikation interpretiert