robots.txt legt Crawling-Parameter für Suchroboter fest. Das Einschränken von Abschnitten reduziert die Serverlast und beschleunigt die Website. Yandex unterstützt das Robots Exclusion Protocol mit eigenen Erweiterungen.
Die Warnung, die zuerst kommt und am wichtigsten ist
In robots.txt eingeschränkte Seiten können immer noch in der Yandex-Suche erscheinen. Um eine Seite aus den Ergebnissen zu entfernen, müssen Sie die noindex -Direktive im HTML oder im HTTP-Header verwenden — und Sie dürfen diese Seite nicht in robots.txtblockieren, da eine blockierte Seite niemals abgerufen wird und das noindex niemals gesehen wird.
Dies ist das schwerwiegendste Missverständnis im technischen SEO, und Yandex stellt es im ersten Absatz klar. Blockieren dreht sich um das Crawl-Budget; noindex dreht sich um die Präsenz in der Suche. Das Erste zu verwenden, um das Zweite zu erreichen, garantiert, dass die Seite dauerhaft indexiert bleibt.
Dateianforderungen
- Maximal 500 KB.
- Eine TXT-Datei namens
robots.txt. - Im Stammverzeichnis.
- Zugänglich für Roboter, gibt
200 OK.
zurück. Wenn die Datei diese Anforderungen nicht erfüllt, gilt die Website als offen für die Indexierung. Eine fehlerhafte oder unerreichbare Datei ist kein Sicherheitsnetz — sie ist eine offene Tür.
Die Weiterleitungsfunktion
Yandex akzeptiert eine Weiterleitung von der robots.txt einer Website zu der einer anderen und wendet die Direktiven in der Zieldatei an. Das ist besonders nützlich während eines Website-Umzugs, bei dem beide Domains konsistente Regeln präsentieren müssen — und deshalb besteht die Migrationsanleitung darauf, dass die beiden Dateien übereinstimmen.
Die unterstützten Direktiven
User-agent— für welchen Roboter die Regeln gelten.Disallow— untersagt das Crawlen von Abschnitten oder Seiten.Sitemap— der Pfad zur Sitemap, vollständig mit Protokoll angegeben.Clean-param— eine Yandex-Erweiterung, die zu ignorierende Parameter deklariert.
Überprüfung
Testen Sie die Datei im robots.txt-Analysator der Konsole mit tatsächlichen URLs, nicht nur auf Syntax. Eine Datei, die sauber geparst wird und das falsche Verzeichnis blockiert, meldet überhaupt keine Fehler.
So setzen wir das um
The block-versus-noindex distinction is the single most useful thing on this page and the mistake we correct most often: a client blocks a page in robots.txt to get it out of search, and it stays in search forever because the robot can no longer read the noindex. The other detail worth remembering is that a broken robots.txt means an open site — a 500 error on that file removes every restriction at once.
Verwandte Leistungen