Disallow verhindert das Crawling von Abschnitten oder Seiten; Allow erlaubt sie. Yandex listet auf, was sich hinter Disallowverbirgt: Seiten mit vertraulichen Daten, internen Suchergebnissen, Verkehrsstatistiken, Duplikaten, Protokollen und Datenbank-Dienstseiten.
Die Empfehlung, die oft übersehen wird
Für Seiten, deren Adressen GET-Parameterenthalten, empfiehlt Yandex Clean-param anstelle von Disallowund erklärt warum: mit Disallowkann es sein, dass das parameterfreie Gegenstück des Duplikats nicht identifiziert werden kann, und einige der angesammelten Metriken der blockierten Seiten gehen verloren. Das Blockieren verwirft Signale; Clean-param konsolidiert sie auf der kanonischen Adresse.
Dies ist eine grundlegend andere Antwort als die, die die meisten technischen Audits geben, und sie gilt für die größte Kategorie unerwünschter URLs auf jeder kommerziellen Website – Tracking-Tags, Sortierreihenfolgen, Sitzungskennungen.
Muster
Disallow: / # die gesamte Website
Disallow: /catalogue # alles, was mit /catalogue beginnt
Disallow: /page? # alles, dessen URL Parameter nach /page enthältErlauben in Kombination
User-agent: Yandex
Allow: /cgi-bin
Disallow: /Alles blockiert bis auf Pfade, die beginnen mit /cgi-bin. Diese Inversion – alles blockieren, bestimmte erlauben – ist die richtige Form für eine Staging-Umgebung oder eine Anwendung, bei der jemals nur wenige Abschnitte gecrawlt werden sollten, und sie ist weitaus sicherer als das Aufählen jedes auszuschließenden Verzeichnisses.
Was Disallow nicht tut
Es entfernt eine Seite nicht aus der Suche. Eine blockierte Seite kann weiterhin gelistet werden. Schlimmer noch, das Blockieren einer Seite hindert den Roboter daran, ein noindex darauf zu lesen, weshalb die beiden Instrumente niemals auf derselben URL kombiniert werden dürfen.
Vor dem Bereitstellen
Jagen Sie die vorgesehenen URLs durch den Analysator – sowohl jene, die blockiert werden sollten, als auch jene, die es keinesfalls sein dürfen. Eine Regel mit falscher Präzision bleibt unsichtbar, bis der Traffic verschwindet.
So setzen wir das um
The Clean-param-over-Disallow recommendation is one we now apply by default, because Yandex says outright that blocking parameterised URLs loses accumulated metrics. Most audit templates say the opposite. For staging sites we use the block-everything-then-allow pattern, and we test both a permitted and a forbidden URL before it ships, because getting this file wrong in either direction is expensive.
Verwandte Leistungen