Der Robot sucht nach Einträgen, die beginnen mit User-agent: und gleicht entweder den Teilstring ab Yandex (ohne Berücksichtigung der Groß- und Kleinschreibung) oder *. Die Rangfolgeregeln sind streng und verursachen die meisten robots.txt-Fehler.
Die Rangfolgeregeln
- Wenn
User-agent: Yandexvorhanden ist,User-agent: *wird komplett ignoriert — nicht zusammengeführt, sondern ignoriert. Regeln, die Sie für global gehalten haben, gelten nicht. - Wenn ein Block existiert für einen spezifischen Yandex-Robot, wie etwa
YandexBot, dann werden sowohl der allgemeineYandexBlock als auch*für diesen Robot nicht verwendet. - Wenn weder
Yandexnoch*gefunden wird, hat der Robot uneingeschränkten Zugriff.
Das eigene Beispiel von Yandex macht die Falle greifbar: Eine Datei mit YandexBot, Yandex und * Blöcken wendet nur den ersten auf den Hauptindexierungs-Robot an, nur den zweiten auf andere Yandex-Robots und den dritten auf keinen von beiden.
Formatierung
Eine Leerzeile sollte jeder User-agent Direktive vorangehen. # startet einen Kommentar, und alles bis zum Ende der Zeile wird ignoriert — was, kombiniert mit der Regel, dass eine Leerzeile nach User-agent die folgenden Regeln abtrennt, für die meisten unbemerkt beschädigten Dateien verantwortlich ist.
Die Ausnahme, die niemand erwartet
Einige Yandex-Robots ignorieren möglicherweise robots.txt Direktiven gänzlich, einschließlich derer unter User-agent: Yandex. . Um diese einzuschränken, müssen Sie deren exakten User-Agent in einem eigenen Block benennen. Aus diesem Grund kann eine Website, die glaubt, alles blockiert zu haben, immer noch Crawling von einem Yandex-Agenten sehen, von dem sie noch nie gehört hat.
Die praktische Form einer Datei
Schreiben Sie einen Block für Yandex , der jede Regel enthält, die für Yandex gelten soll, und einen separaten, vollständigen Block für *. Verlassen Sie sich nicht auf Vererbung zwischen ihnen, da es keine gibt. Duplikate sind hier korrekt, nicht redundant.
Überprüfung
Testen Sie spezifische URLs pro User-Agent im Analysator. Das Tool wendet dieselben Rangfolgeregeln an wie der Robot, was der einzige zuverlässige Weg ist, um zu bestätigen, welcher Block tatsächlich für eine bestimmte Adresse gilt.
So setzen wir das um
The rule we most often have to explain is that a Yandex block makes the wildcard block invisible. Teams add a Yandex-specific rule for one directory and unknowingly drop every general restriction they had. We write the two blocks out in full, duplicated, and test URLs per agent rather than reading the file and reasoning about it.
Verwandte Leistungen