Der robots.txt-Parser von Google ist jetzt Open Source
Montag, 1. Juli 2019 Seit 25 Jahren war das
Robots Exclusion Protocol (REP)
nur ein De-facto-Standard. Dies hatte manchmal frustrierende Auswirkungen. Einerseits bedeutete dies für Webmaster Unsicherheit in Sonderfällen, etwa wenn ihr Texteditor BOM
-Zeichen in ihren robots.txt-Dateien enthielt. Andererseits brachte es auch für Crawler- und Tool-Entwickler Unsicherheit; wie sollten sie zum Beispiel mit robots.txt-Dateien umgehen, die Hunderte von Megabit groß sind? Heute haben wir angekündigt
, dass wir die Bemühungen anführen, das REP zu einem Internetstandard zu machen. Auch wenn dies ein wichtiger Schritt ist, bedeutet dies zusätzliche Arbeit für Entwickler, die robots.txt-Dateien parsen. Wir sind hier, um zu helfen: Wir haben die C++-Bibliothek,
die unsere Produktionssysteme
zum Parsen und Matchen von Regeln in robots.txt-Dateien verwenden, als Open Source veröffentlicht. Diese Bibliothek gibt es schon seit 20 Jahren und sie enthält Teile von Code, die in den 90er Jahren geschrieben wurden. Seitdem hat sich die Bibliothek weiterentwickelt; wir haben viel darüber gelernt, wie Webmaster robots.txt-Dateien schreiben und welche Sonderfälle wir abdecken mussten, und haben das, was wir im Laufe der Jahre gelernt haben, auch in den Internet-Entwurf einfließen lassen, wenn es sinnvoll war.
Wir haben auch ein Testwerkzeug in das Open-Source-Paket aufgenommen, um Ihnen beim Testen einiger Regeln zu helfen. Nach dem Erstellen ist die Verwendung sehr unkompliziert:
robots_main <robots.txt content> <user_agent> <url>
Wenn Sie sich die Bibliothek ansehen möchten, besuchen Sie unser GitHub-Repository für denrobots.txt-Parser
. Wir würden uns freuen
zu sehen, was Sie damit bauen können! Wenn Sie etwas mit der Bibliothek gebaut haben, hinterlassen Sie uns einen Kommentar aufTwitter
, und wenn Sie Kommentare
oder Fragen zur Bibliothek haben, finden Sie uns auf.
So setzen wir das um
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Verwandte Leistungen