Dieses Dokument beschreibt detailliert, wie seiten- und textbasierte Einstellungen verwendet werden können, um anzupassen, wie Google Ihre Inhalte in den Suchergebnissen präsentiert. Sie können seitenbasierte Einstellungen festlegen, indem Sie ein
meta Tag auf HTML-Seiten oder in einem HTTP-Header einbinden. Sie können textbasierte Einstellungen mit dem data-nosnippet Attribut für HTML-Elemente innerhalb einer Seite angeben.
Denken Sie daran, dass diese Einstellungen nur gelesen und berücksichtigt werden können, wenn Crawlern der Zugriff auf die Seiten gestattet ist, die diese Einstellungen enthalten.
Die <meta name="robots" content="noindex"> Regel gilt für Suchmaschinen-Crawler. Um Crawler auszuschließen, die keine Suchmaschinen sind, wie zum Beispiel AdsBot-Google, müssen Sie möglicherweise Regeln hinzufügen, die auf den spezifischen Crawler ausgerichtet sind (zum Beispiel
<meta name="AdsBot-Google" content="noindex">).
Die Verwendung des robots meta Schlagwörter
Mit dem robots meta Tag können Sie einen granularen, seiten spezifischen Ansatz verwenden, um zu steuern, wie eine einzelne HTML-Seite indexiert und Nutzern in den Google-Suchergebnissen angezeigt werden soll. Platzieren Sie das robots meta Tag im <head> Bereich einergegebenen Seite, wie folgt:
In diesem Beispiel weist das robots meta Tag Suchmaschinen an, die Seite nicht in den Suchergebnissen anzuzeigen. Der Wert des name Attributs(robots ) gibt an, dass die Regel für alle Crawler gilt. Sowohl das
name als auch das content Attribut sind Groß-/Kleinschreibung-unabhängig. Um einen bestimmten Crawler anzusprechen, ersetzen Sie den robots Wert des name
Attributs durch das User-Agent-Token des Crawlers, den Sie ansprechen. Google unterstützt zwei User-Agent-Tokens im robots meta
Tag; andere Werte werden ignoriert:googlebot: für alle Textergebnisse.googlebot-news
: für Nachrichten-Ergebnisse. Um beispielsweise Google anzuweisen, kein Snippet in den Suchergebnissen anzuzeigen, können Sie googlebot als Namen des meta
Tags angeben:
Um ein vollständiges Snippet in den Websuchergebnissen von Google anzuzeigen, aber kein Snippet in Google News, geben Sie googlebot-news als Namen des meta
Tags an: Um mehrere Crawler einzeln anzugeben, verwenden Sie mehrere
robots meta
Die Google Suche erzwingt nicht die Platzierung von Meta-Robots im HTML-Head und berücksichtigt Robots-Meta-Tags auch im Body-Bereich eines HTML-Dokuments.
Um die Indexierung von Nicht-HTML-Ressourcen wie PDF-, Video- oder Bilddateien zu blockieren, verwenden Sie den X-Robots-Tag Antwort-Header. es stattdessen.
Unter Verwendung des X-Robots-Tag HTTP-Headers
Das X-Robots-Tag kann als Element der HTTP-Header-Antwort für eine bestimmte URL verwendet werden. Jede Regel, die in einem robots Meta-Tag verwendet werden kann, kann auch als X-Robots-Tagangegeben werden. Hier ist ein Beispiel für eine HTTP-Antwort mit einem
X-Robots-Tag das Crawler anweist, eine Seite nicht zu indexieren:
Mehrere X-Robots-Tag Header können innerhalb der HTTP-Antwort kombiniert werden, oder Sie können eine durch Kommas getrennte Liste von Regeln angeben. Hier ist ein Beispiel für eine HTTP-Header-Antwort, die ein noimageindex
X-Robots-Tag kombiniert mit einem
unavailable_after X-Robots-Tag.
enthält: Das X-Robots-Tag kann optional vor den Regeln einen User-Agent angeben. Zum Beispiel können die folgenden X-Robots-Tag
HTTP-Header verwendet werden, um die Anzeige einer Seite in den Suchergebnissen für verschiedene Suchmaschinen bedingt zu erlauben:
Regel.
Gültige Indexierungs- und Bereitstellungsregeln
Die folgenden Regeln, die auch inmaschinenlesbarem Format verfügbar sind, können verwendet werden, um die Indexierung und Bereitstellung eines Snippets mit dem robots Meta-Tag und demX-Robots-Tag zu steuern. Jeder Wert stellt eine spezifische Regel dar. Mehrere Regeln können kombiniert werden in einer durch Kommas getrennten Liste oder in separaten Meta-Tags.
| Es ist möglich, dass diese Regeln nicht von allen anderen Suchmaschinen auf dieselbe Weise behandelt werden. | |
|---|---|
| all |
| Zeigen Sie diese Seite, dieses Medium oder diese Ressource nicht in den Suchergebnissen an. Wenn Sie diese Regel nicht angeben, können die Seite, das Medium oder die Ressource indexiert und in den Suchergebnissen angezeigt werden. |
| nofollowFolgen Sie nicht den Links auf dieser Seite. Wenn Sie diese Regel nicht angeben, kann Google die Links auf der Seite verwenden, um diese verlinkten Seiten zu entdecken. Erfahren Sie mehr über. |
| none Entspricht. |
| nosnippet Zeigen Sie kein Text-Snippet oder keine Video-Vorschau in den Suchergebnissen für diese Seite an. Ein statisches Vorschaubild (falls verfügbar) kann weiterhin sichtbar sein, wenn dies zu einer besseren Nutzererfahrung führt. Dies gilt für alle Formen von Suchergebnissen (bei Google: Websuche, Google Bilder, Discover, AI Overviews, AI Mode) und verhindert auch, dass der Inhalt als direkte Eingabe für AI Overviews und AI Mode verwendet wird. Wenn Sie diese Regel nicht angeben, kann Google basierend auf den auf der Seite gefundenen Informationen ein Text-Snippet und eine Video-Vorschau generieren. |
| indexifembedded
|
| Verwenden Sie maximal [number] Zeichen als Text-Snippet für dieses Suchergebnis. (Beachten Sie, dass eine URL als mehrere Suchergebnisse auf einer Suchergebnisseite erscheinen kann.) Dies hat keinen Einfluss auf Bild- oder Videovorschauen. Dies gilt für alle Formen von Suchergebnissen (wie Google Websuche, Google Bilder, Discover, Assistant, AI Overviews, AI Mode) und begrenzt auch, wie viel des Inhalts als direkte Eingabe für AI Overviews und AI Mode verwendet werden darf. Diese Begrenzung gilt jedoch nicht in Fällen, in denen ein Herausgeber separat die Erlaubnis zur Nutzung von Inhalten erteilt hat. Wenn der Herausgeber beispielsweise Inhalte in Form von strukturierten Daten auf der Seite bereitstellt oder eine Lizenzvereinbarung mit Google hat, unterbricht diese Einstellung diese spezifischeren zulässigen Nutzungen nicht. Diese Regel wird ignoriert, wenn keine analysierbare [number] angegeben ist. Wenn Sie diese Regel nicht angeben, wählt Google die Länge des Snippets. Spezielle Werte:
Beispiele: Um zu verhindern, dass ein Snippet in den Suchergebnissen angezeigt wird: Um zuzulassen, dass bis zu 20 Zeichen im Snippet angezeigt werden: Um anzugeben, dass es keine Begrenzung für die Anzahl der Zeichen gibt, die im Snippet angezeigt werden können: |
| Legen Sie die maximale Größe einer Bildvorschau für diese Seite in den Suchergebnissen fest. Wenn Sie die Akzeptierte [setting] Werte:
Dies gilt für alle Formen von Suchergebnissen (wie Google Websuche, Google Bilder, Discover, Assistant). Diese Begrenzung gilt jedoch nicht in Fällen, in denen ein Herausgeber separat die Erlaubnis zur Nutzung von Inhalten erteilt hat. Wenn der Herausgeber beispielsweise Inhalte in Form von strukturierten Daten auf der Seite (wie AMP- und kanonische Versionen eines Artikels) bereitstellt oder eine Lizenzvereinbarung mit Google hat, unterbricht diese Einstellung diese spezifischeren zulässigen Nutzungen nicht. Wenn Sie nicht möchten, dass Google größere Miniaturbilder verwendet, wenn deren AMP-Seiten und die kanonische Version eines Artikels in der Suche oder Discover angezeigt werden, geben Sie einen an. |
| [number] Verwenden Sie maximal [number] Sekunden als Video-Snippet für Videos auf dieser Seite in den Suchergebnissen. Regel nicht angeben, zeigt Google möglicherweise ein Video-Snippet in den Suchergebnissen an, und Sie überlassen es Google, zu entscheiden, wie lang die Vorschau sein darf.
: Es gibt keine Begrenzung. Dies gilt für alle Formen von Suchergebnissen (bei Google: Websuche, Google Bilder, Google Videos, Discover, Assistant). Diese Regel wird ignoriert, wenn keine analysierbare [number] angegeben ist. |
| notranslate Bieten Sie keine Übersetzung dieser Seite in den Suchergebnissen an. Wenn Sie diese Regel nicht angeben, stellt Google möglicherweise eine Übersetzung des Titellinks und Snippets |
| noimageindex |
| [date/time] . Die Regel wird ignoriert, wenn kein gültiges Datum/keine gültige Uhrzeit angegeben ist. Standardmäßig gibt es kein Ablaufdatum für Inhalte. Wenn Sie diese Regel nicht angeben, kann diese Seite auf unbestimmte Zeit in den Suchergebnissen angezeigt werden. Googlebot wird die Crawling-Rate der URL nach dem angegebenen Datum und der angegebenen Uhrzeit erheblich verringern. |
Beispiel:
Umgang mit kombinierten Indexierungs- und Bereitstellungsregeln Sie können eine Anweisung mit mehreren Regeln erstellen, indem Sie robots
meta Tag-Regeln mit Kommas kombinieren oder mehrere meta Tags verwenden. Hier ist ein Beispiel für ein robots meta
Tag, das Web-Crawler anweist, die Seite nicht zu indexieren und keine der Links auf der Seite zu crawlen:
Hier ist ein Beispiel, das das Text-Snippet auf 20 Zeichen begrenzt und eine große Bildvorschau zulässt:
Für Situationen, in denen mehrere Crawler zusammen mit unterschiedlichen Regeln angegeben sind, verwendet die Suchmaschine die Summe der negativen Regeln. Zum Beispiel: Die Seite, die diese meta
Tags enthält, wird als eine noindex, nofollow
Regel interpretierend behandelt, wenn sie von Googlebot gecrawlt wird. Die Verwendung der data-nosnippet HTML-Attribut
Sie können Textteile einer HTML-Seite so festlegen, dass sie nicht als Snippet verwendet werden. Dies kann auf HTML-Elementebene mit dem data-nosnippet HTML-Attribut für
span, divund
section Elemente erfolgen. Das data-nosnippet
gilt als
boolesches Attribut. Wie bei allen booleschen Attributen wird jeder angegebene Wert ignoriert. Um die Maschinenlesbarkeit zu gewährleisten, muss der HTML-Abschnitt gültiges HTML sein und alle entsprechenden Tags müssen korrekt geschlossen werden.
Beispiele:
Google rendert Seiten normalerweise, um sie zu indexieren, das Rendern ist jedoch nicht garantiert. Aus diesem Grund kann die Extraktion von data-nosnippet sowohl vor als auch nach dem Rendern erfolgen. Um Unsicherheiten durch das Rendern zu vermeiden, fügen Sie das
data-nosnippet Attribut vorhandener Knoten nicht über JavaScript hinzu oder entfernen Sie es nicht. Wenn Sie DOM-Elemente über JavaScript hinzufügen, fügen Sie das
data-nosnippet Attribut bei Bedarf hinzu, wenn Sie das Element zum ersten Mal zum DOM der Seite hinzufügen. Wenn benutzerdefinierte Elemente verwendet werden, umschließen oder rendern Sie diese mit
div, spanoder
section Elementen, wenn Sie
data-nosnippet.
verwenden müssen.
Verwendung strukturierter Daten Robots meta
Tags steuern die Menge an Inhalten, die Google automatisch von Webseiten extrahiert, um sie als Suchergebnisse anzuzeigen. Viele Publisher verwenden jedoch auch strukturierte Daten von schema.org, um spezifische Informationen für die. Suchpräsentation verfügbar zu machen. Robots
meta Tag-Einschränkungen wirken sich nicht auf die Verwendung dieser strukturierten Daten aus, mit Ausnahme von
article.description und den
description Werten für strukturierte Daten, die für andere kreative Werke angegeben sind. Um die maximale Länge einer Vorschau basierend auf diesen
description Werten festzulegen, verwenden Sie die
max-snippet Regel. Zum Beispiel ist recipestrukturierte Daten auf einer Seite für die Aufnahme in das Rezept-Karussell berechtigt, auch wenn die Textvorschau ansonsten begrenzt wäre. Sie können die Länge einer Textvorschau mit max-snippet begrenzen, aber dieses robots
meta Tag gilt nicht, wenn die Informationen mithilfe strukturierter Daten für Rich Results bereitgestellt werden. Um die Verwendung strukturierter Daten für Ihre Webseiten zu verwalten, ändern Sie die strukturierten Datentypen und Werte selbst, indem Sie Informationen hinzufügen oder entfernen, um nur die Daten bereitzustellen, die Sie verfügbar machen möchten. Beachten Sie auch, dass strukturierte Daten für Suchergebnisse weiterhin verwendbar sind, wenn sie innerhalb eines
data-nosnippet Elements deklariert werden.
Praktische Implementierung von X-Robots-Tag Sie können das
X-Robots-Tag über die Konfigurationsdateien der Webserver-Software Ihrer Website zu den HTTP-Antworten einer Website hinzufügen. Auf Apache-basierten Webservern können Sie beispielsweise .htaccess- und httpd.conf-Dateien verwenden. Der Vorteil der Verwendung eines
X-Robots-Tag mit HTTP-Antworten besteht darin, dass Sie Crawling-Regeln festlegen können, die global auf einer Website angewendet werden. Die Unterstützung regulärer Ausdrücke ermöglicht ein hohes Maß an Flexibilität.
Um beispielsweise ein noindex, nofollow X-Robots-Tag zur HTTP-Antwort für alle .PDF Dateien auf einer gesamten Website hinzuzufügen, fügen Sie den folgenden Snippet zur .htaccess Datei oder httpd.conf Datei im Stammverzeichnis der Website auf Apache oder zur
.conf Datei der Website auf NGINX hinzu. Sie können das X-Robots-Tag für Nicht-HTML-Dateien wie Bilddateien verwenden, bei denen die Verwendung von robots
meta-Tags in HTML nicht möglich ist. Hier ist ein Beispiel für das Hinzufügen von "noindex" X-Robots-Tag Regel für Bilddateien (.png, .jpeg, .jpg, .gif) auf einer gesamten Website:
Sie können auch die X-Robots-Tag Header für einzelne statische Dateien festlegen:
Kombination von robots.txt-Regeln mit Indexierungs- und Bereitstellungsregeln
robots meta Tags und X-Robots-Tag HTTP-Header werden erkannt, wenn eine URL gecrawlt wird. Wenn eine Seite durch die robots.txt-Datei vom Crawling ausgeschlossen ist, werden Informationen zu Indexierungs- oder Bereitstellungsregeln nicht gefunden und daher ignoriert. Wenn Indexierungs- oder Bereitstellungsregeln befolgt werden müssen, dürfen die URLs, die diese Regeln enthalten, nicht vom Crawling ausgeschlossen werden.
So setzen wir das um
Robots directives are the sharpest tool in technical SEO and the easiest to misfire. We review every noindex on a site during onboarding, because inherited directives on commercially important pages are more common than clients expect.
Verwandte Leistungen