Freitag, 14. März 2025
Mit der robots.txt-Datei, haben Website-Besitzer eine einfache Möglichkeit zu kontrollieren, welche Teile einer Website für Crawler zugänglich sind. Um Website-Besitzern zu helfen, weiter auszudrücken, wie Suchmaschinen und Web-Crawler ihre Seiten nutzen können, kam die an der Entwicklung von Webstandards beteiligte Community
auf Robots meta Tags im Jahr 1996, nur wenige Monate nachdem Meta-Tags für HTML vorgeschlagen wurden (und anekdotisch auch vor der Gründung von Google). Später wurden X-Robots-Tag HTTP-Antwortheader
hinzugefügt. Diese Anweisungen werden zusammen mit einer URL gesendet, sodass Crawler sie nur berücksichtigen können, wenn sie nicht über die robots.txt-Datei vom Crawlen der URL ausgeschlossen sind. Zusammen bilden sie das Robots Exclusion Protocol (REP).
Ein Blick auf Robots meta
Schlagwörter Meta-Tags (oder Elemente) sind eine Möglichkeit, maschinenlesbare Metadaten einzubinden. Robots
meta Tags sind eine “Art” von Meta-Tag und gelten für Crawler, einschließlich Suchmaschinen-Crawlern. Sie signalisieren: Ist der Inhalt von der Indexierung ausgeschlossen? Sollen Links auf der Seite nicht beim Crawlen verfolgt werden? Es ist einfach, diese Informationen direkt auf der Seite mit Robots meta Tags anzugeben. Ein Robots Exclusion Protocol für jede URL Um Nicht-HTML-Inhalten das gleiche Maß an Kontrolle zu geben, wurde der X-Robots-Tag ” HTTP-Antwortheader erstellt. Diese HTTP-Header gelten ebenfalls als Teil des REP. Der Header unterstützt dieselben Werte wie das Robots-Meta-Tag und kann zu jedem online bereitgestellten Inhalt hinzugefügt werden. Neben HTML unterstützt Google ihn für Inhalte wie PDFs, Dokumentdateien und sogar Bilder. Die meisten dieser Dateiformate haben keinen Äquivalentmechanismus zu Meta-Tags, daher ist ein HTTP-Antwortheader hilfreich.
Erste Schritte mit Robots
metaTags und HeadernDie Syntax ist einfach und erweiterbar. Die Regeln werden im Allgemeinen entweder vom Webentwickler oder über ein Content Management System (CMS) implementiert, bei dem Website-Besitzer Kontrollkästchen oder Dropdown-Menüs haben können, um ihre Präferenzen auszuwählen. Diese Steuerungen können sich an einen bestimmten Crawler wie Googlebot richten oder durch Weglassen eines bestimmten Namens alle Crawler adressieren, die diese Werte unterstützen.
Beispielsweise weisen die folgenden Regeln alle Crawler an, die zugehörige Seite nicht für die Indexierung zu verwenden:
In Form eines HTML meta Tags auf einer Webungsseite: Das Betrachten vorhandener meta
Tags oder Antwortheader ist etwas aufwendiger und erfordert eine direkte Überprüfung des Seiteninhalts oder der Header. Sie können HTML-Meta-Tags auf jeder Seite anzeigen, entweder indem Sie sich den Quelltext der Seite in Ihrem Browser ansehen oder die Chrome-Entwicklertools verwenden, um die Seite zu inspizieren In Form eines
HTTP-Antwortheaders
Sie können die HTTP-Antwortheader für einzelne URLs mit den Chrome-Entwicklertools überprüfen, im
- Netzwerk-Tab
Weitere Beispiele dafür, was Sie tun können:Zeigen Sie kein Snippet für diese Seite oder dieses Dokument an.Im HTTP-Header:
oder in HTML:Indexieren Sie diese Seite nicht in
ExampleBot-News, ohne eine Präferenz für andere anzugeben.
Diese Steuerungen spezifizieren explizit einen Crawler.. - oder ExampleBot:
soll kein Snippet anzeigen, und außerdem sollten alle Crawler den Links auf dieser Seite nicht folgen.
Beachten Sie, dass die restriktivsten, gültigen Direktiven gelten, sodass für.
ExampleBot
die Direktive kombiniert würde als “ | nosnippet, nofollow oder |
Auswahl eines REP-Mechanismus All diese Steuerungen sind von Natur aus erweiterbar. Im Laufe der Jahre haben Website-Besitzer, Crawler-Betreiber und Suchmaschinen zusammengearbeitet, um sie weiterzuentwickeln. Historisch gesehen begann es mit einer Handvoll Werten, einschließlich | |
, später gefolgt von weiteren Werten wie | es |
fr
ru
de
de de de dede
de, dede max-snippet: wurden übernommen. Und manchmal werden Werte veraltet, wie es bei noodp,
DMOZ / Open Directory Project
der Fall war, das Snippets verwendete, bevor das Verzeichnis geschlossen wurde. Es gibt eine
Vielzahl von Werten , die von Google für Website-Besitzer unterstützt werden, sowie eine ähnliche Menge von anderen großen Crawler-Betreibern.
Unter dem REP-Dach haben Website-Besitzer die Kontrolle darüber, was gecrawlt wird und wie die gecrawlten Daten in Suchmaschinen verwendet werden. Sie können dies auf einer breiten Ebene für größere Teile von Websites tun oder auf einer sehr granularen Ebene für einzelne Seiten, sogar für Bilder innerhalb von Seiten. Diese Kontrollen sind wohlbekannt, in allen gängigen Content-Management-Systemen verfügbar, von kommerziellen Betreibern breit unterstützt und werden heute auf Milliarden von Hosts im Internet genutzt.
Schauen Sie sich den Rest der Robots Refresher-Serie an:
So setzen wir das um
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Verwandte Leistungen