Der robots.txt-Analysator erfüllt drei Aufgaben: er validiert die Datei, testet spezifische URLs dagegen und führt eine Änderungshistorie. Letztere wird von niemandem genutzt und löst Vorfälle am schnellsten.
Validierung
Für eine verifizierte Website erscheint die Datei automatisch; andernfalls geben Sie die Adresse ein. An Yandex gerichtete Abschnitte (User-agent: Yandex oder *) werden mit den eigenen Regeln von Yandexverglichen, und andere Abschnitte mit dem allgemeinen Standard – weshalb eine Datei, die einen generischen Prüfer besteht, hier dennoch scheitern kann.
Die Ergebnisse kommen als Warnungen (Abweichungen, die das Tool selbst korrigieren kann, oder mögliche Tippfehler) und Fehler (eine Zeile, ein Abschnitt oder eine ganze Datei, die nicht verarbeitet werden kann).
URLs testen – der Teil, auf den es ankommt
Der Bereich URLs auf Zulässigkeit prüfen nimmt eine Liste von vollständigen oder relativen Adressen entgegen und markiert jede als erlaubt oder blockiert. Dies ist der einzige zuverlässige Weg, um zu wissen, was die Datei tut, da sie die tatsächlichen Rangordnungsregeln anwendet – eine Yandex-Blockierung überschreibt den Wildcard, eine spezifische Roboter-Blockierung überschreibt beide.
Testen Sie beide Richtungen: URLs, die crawlbar sein müssen, und URLs, die es nicht sein dürfen. Eine syntaktisch perfekte Datei, die das falsche Verzeichnis blockiert, meldet überhaupt keine Fehler.
Änderungshistorie
Sechs Monate Historie, bis zu 100 gespeicherte Versionen, herunterladbar. Wenn sich die Indexierung plötzlich ändert, lautet die erste Frage, ob sich diese Datei geändert hat – und das beantwortet dies mit einem Datum, ohne dass Zugriff auf das Deployment-Log irgendjemandem erforderlich ist. In Kombination mit der Benachrichtigung „robots.txt geändert“ macht sie eine unsichtbare Art von Vorfall zu einer nachverfolgbaren.
Arbeitspraxis
Im Tool entwerfen, validieren, die URL-Liste testen und dann auf die Website kopieren. Die Live-Datei zu bearbeiten und danach zu überprüfen führt dazu, dass Websites zwei Wochen lang blockiert sind – und die Datei wird mehrmals täglich abgerufen, sodass sich ein Fehler schnell ausbreitet.
So setzen wir das um
The change history has settled more than one argument for us about when a site stopped being crawled. We also draft in the tool rather than editing live, because robots.txt is refetched within hours and a wrong Disallow is expensive in a way most edits are not. Testing URLs in both directions is the habit that catches rules of the wrong precision.
Verwandte Leistungen