Roboter können sich als Yandex ausgeben, indem sie den User Agent einstellen. Die Überprüfung erfolgt durch Reverse-DNS-Lookup, und es lohnt sich, diesen Vorgang bei der Log-Analyse zu automatisieren.
Die vier Schritte
- Ermitteln Sie die IP-Adresse aus den Server-Protokollen.
- Führen Sie einen Reverse-Lookup der IP auf einen Hostnamen durch.
- Bestätigen Sie, dass der Host endet auf
yandex.ru,yandex.netoderyandex.com. Jedes andere Ende bedeutet, dass es sich nicht um Yandex handelt. - Führen Sie einen Forward-Lookup des Hostnamens durch und bestätigen Sie, dass er sich wieder zur selben IP auflöst. Eine Abweichung bedeutet, dass der Hostname gefälscht ist.
Der vierte Schritt ist derjenige, den die Leute überspringen, und ohne ihn beweist die Prüfung gar nichts. Das IP-Adress-Prüftool der Konsole erledigt dieselbe Aufgabe für eine einzelne Adresse.
Warum IP-Bereiche nicht veröffentlicht werden
Die Roboter verwenden autonome Systeme AS13238, AS208722 und AS212066 mit sich häufig ändernden Adressen, weshalb keine Liste bekannt gegeben wird. Das Freigeben von IPs (Allowlisting) ist daher keine gangbare Strategie; Reverse-DNS ist die unterstützte Methode.
Das wichtige Detail über die Roboterflotte
Viele Yandex-Roboter rufen Dokumente zu anderen Zwecken als der Indexierung ab, und einige von ihnen ignorieren robots.txt Regeln, die geschrieben wurden für User-agent: *. Einige ignorieren die Datei vollständig — YaDirectFetcher, mehrere YandexMetrika Versionen. Um diese einzuschränken, benennen Sie sie explizit:
User-agent: YandexCalendar
Disallow: /
User-agent: YandexMobileBot
Disallow: /private/*.txt$Die Regel, die eine häufige Verwirrung auflöst
Wenn einer dieser Roboter ein Dokument herunterlädt, auf das der Hauptindexierungsroboter nicht zugreifen kann, wird dieses Dokument niemals indexiert und taucht niemals in der Suche auf. Traffic von einem Yandex-Agenten in den Logs ist kein Beweis dafür, dass eine Seite indexiert wird – die Flotte ist groß und der größte Teil davon ist nicht der Indexer.
Logs lesen
User-Agent-Strings enthalten eine Browser-Version, die sich im Laufe der Zeit ändert — YandexBot/3.0 erscheint mit einer angehängten Chrome-Version. Matchen Sie immer auf den Roboter-Namen, niemals auf den vollständigen String, da Log-Filter nach einem Update sonst unbemerkt versagen.
So setzen wir das um
The forward-confirmation step is the one that matters: half the “Yandex is hammering our server” reports we have looked at were other crawlers wearing the name. It is also why we match log filters on the robot name rather than the full user agent — the Chrome version inside it changes, and rules written against the whole string quietly stop matching.
Verwandte Leistungen