Die Sprache der Roboter sprechen

Donnerstag, 27. März 2008

Wir alle wissen,
wie freundlich der Googlebot ist.
Und wie alle wohlwollenden Roboter hört uns der Googlebot zu und respektiert unsere Wünsche bezüglich der Teile
unserer Website, die wir nicht gecrawlt haben möchten. Wir können dem Googlebot einfach eine robots.txt-Datei geben, in der wir erklären, was
wir wollen, und er wird dem gerne nachkommen. Aber was ist, wenn Sie die Idee einschüchtert, direkt mit
dem Googlebot zu kommunizieren? Schließlich sind nicht wir alle fließend in der Sprache der
robots.txt. Aus diesem Grund
freuen wir uns, Ihnen Ihren persönlichen Roboter-Übersetzer vorzustellen: den Robots.txt Generator in
Webmaster Tools.
Er wurde entwickelt, um Ihnen eine einfache und interaktive Möglichkeit zu bieten, eine robots.txt-Datei zu erstellen. Das kann so
einfach sein wie die Eingabe der Dateien und Verzeichnisse, die von keinem Roboter gecrawlt werden sollen.

Oder, falls erforderlich, können Sie feingranulare Regeln für bestimmte Roboter und Bereiche Ihrer Website erstellen.

Sobald Sie mit dem Generator fertig sind, können Sie die Auswirkungen Ihrer neuen robots.txt-Datei mit
unserem
robots.txt-Analysetooltesten.
Wenn Sie fertig sind, speichern Sie die generierte Datei einfach im Stammverzeichnis (Root-Verzeichnis) Ihrer Website,
und Sie können loslegen. Es gibt ein paar wichtige Dinge, die Sie bei robots.txt-Dateien beachten sollten:

• Nicht jede Suchmaschine unterstützt jede Erweiterung von robots.txt-Dateien
  Der Robots.txt Generator erstellt Dateien, die der Googlebot versteht, und die meisten anderen großen
  Roboter werden sie ebenfalls verstehen. Es ist jedoch möglich, dass einige Roboter nicht alle
  robots.txt-Funktionen verstehen, die der Generator verwendet.
• Robots.txt ist einfach eine Anfrage
  Obwohl es von einer großen Suchmaschine äußerst unwahrscheinlich ist, gibt es einige skrupellose Roboter,
  die den Inhalt von robots.txt möglicherweise ignorieren und blockierte Bereiche trotzdem crawlen. Wenn Sie sensible
  Inhalte haben, die Sie vollständig schützen müssen, sollten Sie sie hinter einen Passwortschutz stellen, anstatt
  sich auf robots.txt zu verlassen.

Wir hoffen, dass dieses neue Tool Ihnen hilft, Ihre Wünsche dem Googlebot und anderen Robotern mitzuteilen, die Ihre
Website besuchen. Wenn Sie mehr über robots.txt-Dateien erfahren möchten, schauen Sie in
unserem Hilfe-Centervorbei. Und wenn Sie
robots.txt und Roboter mit anderen Webmastern diskutieren möchten, besuchen Sie unsere
Google Webmaster-Hilfegruppe.

Verfasst von Sean Harding, Webmaster Tools Team