Robots.txt-Analysefehler

Der robots.txt-Analysator der Console meldet Fehler und Warnungen, von denen mehrere Yandex-Erweiterungen sind — Regeln, gegen die die Datei in Yandex verstoßen kann, ohne anderswo Probleme zu verursachen. Genau dieser Unterschied macht diese Referenz wichtig: Eine Datei, die den Parser von Google passiert, kann hier dennoch abgelehnt werden.

Fehler, wobei die Yandex-spezifischen markiert sind

• Regel beginnt nicht mit / oder * (Yandex-Erweiterung) — eine Regel darf nur mit diesen Zeichen beginnen.
• Mehrere User-agent: * Regeln — nur ein solcher Block ist zulässig.
• Dateigrößenlimit überschritten (Yandex) — die Datei überschreitet 2.048 Regeln. Automatisch generierte robots.txt-Dateien in großen Katalogen stoßen hierauf.
• Keine User-agent-Direktive vor einer Regel — Regeln müssen auf eine User-agent Zeile folgen. Yandex fügt die wahrscheinliche Ursache hinzu: eine Leerzeile nach User-agent, die den Block beendet. Die Datei sieht korrekt aus und die darunter liegenden Regeln gelten für niemanden.
• Regel zu lang (Yandex) — mehr als 1.024 Zeichen.
• Ungültige Sitemap-URL (Yandex) — die Sitemap muss vollständig inklusive Protokoll angegeben werden. Ein relativer Pfad ist ein häufiger und unauffälliger Fehler.
• Ungültiges Clean-param-Format (Yandex) — ein oder mehrere Parameter, getrennt durch &, gefolgt von einem Leerzeichen und dem Pfadpräfix.

Warnungen

Unzulässiges Zeichen (jegliche Sonderzeichen außer * und $); unbekannte Direktive (nicht in den Regeln von Yandex — oft eine gültige Direktive für eine andere Suchmaschine, weshalb dies eine Warnung und kein Fehler ist); Syntaxfehler in einer Zeile, die nicht interpretiert werden kann; und unbekannter Fehler, was einen Support-Fall darstellt.

URL-Validierungsfehler

Beim Testen einer spezifischen URL gegen die Datei: ein Syntaxfehler in der URL oder „diese URL gehört nicht zu Ihrer Domain“ — was normalerweise bedeutet, dass Sie eine alternative Adresse der Website anstelle der primären eingefügt haben. In Anbetracht der Handhabung von Mirrors durch Yandex ist dieser Fehler leicht zu machen und verwirrend zu lesen.

So verwenden Sie den Analysator richtig

Geben Sie sich nicht mit „keine Fehler“ zufrieden. Geben Sie die URLs ein, die Ihrer Meinung nach gecrawlt und die Ihrer Meinung nach blockiert werden sollten, und bestätigen Sie das Urteil für jede einzelne. Eine syntaktisch perfekte Datei, die das falsche Verzeichnis blockiert, meldet überhaupt keine Fehler.