Freitag, 28. März 2025
In den vorherigen Beiträgen zum Robots Exclusion Protocol (REP) haben wir untersucht, was Sie bereits mit seinen verschiedenen Komponenten tun können – namentlich robots.txt und den Steuerelementen auf URI-Ebene.
In diesem Beitrag werden wir untersuchen, wie das REP eine unterstützende Rolle in der sich ständig weiterentwickelnden Beziehung zwischen automatischen Clients und dem menschlichen Web spielen kann.

Das REP – insbesondere robots.txt – wurde 2022 als Standard festgelegt als
RFC9309.
Die Hauptarbeit wurde jedoch vor seiner Standardisierung geleistet: Es war der Test der Zeit zwischen 1994 und 2022, der es so populär machte, dass es von Milliarden Hosts und praktisch allen großen Crawler-Betreibern (außer feindseligen Crawlern wie Malware-Scannern) übernommen wurde. Es ist eine unkomplizierte und elegante Lösung, um Präferenzen mit einer einfachen und dennoch vielseitigen Syntax auszudrücken. In seinen 25 Jahren Bestehens musste es sich kaum von seiner ursprünglichen Form weiterentwickeln, es erhielt nur eine
allow -Regel, wenn wir nur die Regeln betrachten, die von Crawlern universell unterstützt werden.
Das bedeutet nicht, dass es keine anderen Regeln gibt; jeder Crawler-Betreiber kann sich eigene Regeln ausdenken. Zum Beispiel sind Regeln wie „clean-param“ und „crawl-delay“ nicht Teil von RFC9309, aber sie werden von einigen Suchmaschinen unterstützt – wenn auch nicht von Google Search.
Die „sitemap“-Regel, die ebenfalls nicht Teil von RFC9309 ist, wird von allen großen Suchmaschinen unterstützt. Bei ausreichender Unterstützung könnte sie zu einer offiziellen Regel im REP werden.
Denn das REP kann tatsächlich „Updates“ erhalten. Es ist ein weit verbreitetes Protokoll und sollte mit dem Internet wachsen. Änderungen daran vorzunehmen ist nicht unmöglich, aber es ist nicht einfach; es sollte auch nicht einfach sein, genau weil das REP weit verbreitet ist. Wie bei jeder Änderung an einem Standard muss ein Konsens darüber bestehen, dass Änderungen der Mehrheit der Nutzer des Protokolls zugutekommen, sowohl auf Seiten der Publisher als auch der Crawler-Betreiber.

Aufgrund seiner Einfachheit und breiten Akzeptanz ist das REP ein hervorragender Kandidat für die Übertragung neuer Crawling-Präferenzen: Milliarden von Publishern sind beispielsweise bereits mit robots.txt und seiner Syntax vertraut, sodass Änderungen daran für sie natürlicher fallen. Auf der anderen Seite verfügen Crawler-Betreiber bereits über robuste, gut getestete Parser und Matcher (und Google hat auch seinen eigenen robots.txt parserals Open Source zur Verfügung gestellt),
was bedeutet, dass es höchst unwahrscheinlich ist, dass es Parsing-Probleme mit neuen Regeln geben wird.
Gleiches gilt für die Erweiterungen auf URI-Ebene des REP, den HTTP-Header X-robots-tag und sein Meta-Tag-Pendant. Wenn Bedarf an einer neuen Regel zur Übertragung von Opt-out-Präferenzen besteht, sind sie leicht erweiterbar. Wie jedoch?
Das Wichtigste, was Sie als Leser tun können, ist, öffentlich über Ihre Idee zu sprechen und Unterstützer für diese Idee zu gewinnen. Da das REP ein öffentlicher Standard ist, kann keine einzelne Entität einseitige Änderungen daran vornehmen; sicher, sie können die Unterstützung für etwas Neues auf ihrer Seite implementieren, aber das wird nicht DER Standard werden. Aber das Sprechen über diese Änderung und das Aufzeigen für das Ökosystem – sowohl für Crawler-Betreiber als auch für das Publishing-Ökosystem –, dass sie allen zugutekommt, wird einen Konsens vorantreiben, und das ebnet den Weg zur Aktualisierung des Standards.
Ebenso, wenn dem Protokoll etwas fehlt, sprechen Sie öffentlich darüber. sitemap
wurde zu einer weithin unterstützten Regel in robots.txt, weil sie für Content-Ersteller und Suchmaschinen gleichermaßen nützlich war, was den Weg für die Annahme der Erweiterung ebnete. Wenn Sie eine neue Idee für eine Regel haben, fragen Sie die Verbraucher von robots.txt und Ersteller, was sie davon halten, und arbeiten Sie mit ihnen zusammen, um potenzielle (und wahrscheinliche) Probleme, die sie ansprechen, aus dem Weg zu räumen und einen Vorschlag zu verfassen.
Wenn Ihr Antrieb darin besteht, dem Gemeinwohl zu dienen, lohnt es sich.
Schauen Sie sich den Rest der Robots-Auffrischungsserie an:
So setzen wir das um
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Verwandte Leistungen