Robots.txtVerwendung von robots.txt
robots.txt legt Crawling-Parameter für Suchroboter fest. Das Einschränken von Abschnitten reduziert die Serverlast und beschleunigt die Website. Yandex unterstützt das…
Robots.txt
Robots.txtDie User-agent-Direktive
Der Robot sucht nach Einträgen, die beginnen mit User-agent: und gleicht entweder den Teilstring ab Yandex (ohne Berücksichtigung der Groß-…
Disallow- und Allow-Direktiven
Disallow verhindert das Crawling von Abschnitten oder Seiten; Allow erlaubt sie. Yandex listet auf, was sich hinter Disallowverbirgt: Seiten mit…
Robots.txtDie Sitemap-Direktive
Die Sitemap -Direktive deklariert, wo sich die Sitemap befindet. Es können mehrere aufgelistet werden, eine pro Zeile: User-agent: Yandex Allow:…
Die Crawl-delay-Direktive
Crawl-delay wird von Yandex seit dem 22. Februar 2018 ignoriert. Jede Website, die diese Direktive noch enthält, hat eine Zeile…
Robots.txtDie Clean-param-Direktive
Clean-param ist eine Yandex-Erweiterung ohne Äquivalent an anderer Stelle: Sie teilt dem Roboter mit, welche URL-Parameter den Seiteninhalt nicht verändern,…
Robots.txtWie man überprüft, ob ein Roboter zu Yandex gehört
Roboter können sich als Yandex ausgeben, indem sie den User Agent einstellen. Die Überprüfung erfolgt durch Reverse-DNS-Lookup, und es lohnt…
Robots.txtWie reduziere ich die Last auf der Website oder dem Server?
Der Roboter plant seine Besuche selbst und passt die Last automatisch an. Die Anfragen können sprunghaft ansteigen, wenn er einen…