Wie verhindere ich die Indexierung der Website oder von Seiten?

Drei Instrumente verbergen Inhalte vor der Indexierung, und sie arbeiten auf verschiedenen Ebenen: die gesamte Website oder ein Bereich, eine einzelne Seite oder ein Teil des Textes einer Seite.

Website, Bereich oder Seite

• Disallow in robots.txt.
• Der robots Meta-Tag mit noindex oder none.
• Autorisierung — und Yandex empfiehlt dies speziell für das Verbergen einer Startseite, mit einem Grund, den man sich merken sollte: eine in robots.txt blockierte Startseite kann immer noch in den Ergebnissen erscheinen, wenn andere Websites darauf verlinken. Blockieren ist nicht gleichbedeutend mit Verstecken.

Kombinieren Sie für alles, was wirklich eingeschränkt ist, die Autorisierung mit einer Serverantwort von 404, 403 oder 410 für unautorisierte Anfragen, damit die Seite nicht nur die Wiedergabe verweigert, sondern sich als nicht verfügbar meldet.

Teil eines Seitentextes

Das noindex Element — eine Yandex-Erweiterung, die sich vom Meta-Tag unterscheidet:

<noindex>Text, der nicht indexiert werden soll</noindex>

Zwei Regeln machen es bei falscher Anwendung gefährlich:

• Wenn das schließende Tag fehlt, wird der gesamte verbleibende Inhalt der Seite als versteckt behandelt. Ein nicht geschlossenes Tag kann den Text einer ganzen Seite aus dem Index entfernen.
• Verschachtelte Tags werden nach dem ersten schließenden Tag ignoriert, sodass die Verschachtelung nicht wie geschrieben funktioniert.

Für gültiges Markup wird die Kommentarform akzeptiert: <!--noindex-->…<!--/noindex-->.

Die Wahl zwischen ihnen

Fragen Sie, was passieren soll, wenn jemand die URL direkt eingibt. Wenn die Antwort lautet „sie sollten sie sehen, aber sie sollte nicht ranken“ — noindex. Wenn es heißt „der Roboter sollte hier keine Zeit verschwenden“ — Disallow. Wenn es heißt „niemand sollte dies sehen“ — Autorisierung mit einem entsprechenden Statuscode. Die drei sind nicht austauschbar, und der häufigste Fehler ist die Verwendung des zweiten für den dritten.