Robots.txt

Die Sitemap-Direktive

Ask AI about this page

2 Min. Lesezeit

Die Sitemap -Direktive deklariert, wo sich die Sitemap befindet. Es können mehrere aufgelistet werden, eine pro Zeile:

User-agent: Yandex
Allow: /
sitemap: https://example.com/site_structure/my_sitemaps1.xml
sitemap: https://example.com/site_structure/my_sitemaps2.xml

Die Eigenschaft, auf die es ankommt

Sie ist positionsunabhängig: Der Roboter verwendet sie unabhängig davon, wo sie in der Datei erscheint. Sie gehört nicht zum User-agent -Block darüber und muss nicht in jedem Block wiederholt werden. Dateien, die die Direktive unter jedem Agenten duplizieren, sind harmlos, aber unnötig; Dateien, die sie in einen Block setzen in der Erwartung, sie würde nur dort gelten, haben sie missverstanden.

Die Sitemap-Direktive

Wie sie verarbeitet wird

Der Roboter merkt sich den Pfad, verarbeitet die Daten und nutzt das Ergebnis bei seinem nächsten Besuch. Es passiert nichts sofort, was gut zu wissen ist, bevor man schließt, dass eine neu deklarierte Sitemap fehlgeschlagen ist.

Die Formatierungsanforderung

Die URL muss angegeben werden vollständig, einschließlich des Protokolls. Ein relativer Pfad löst im Analysator den Fehler „Ungültiges Sitemap-Dateien-URL-Format“ aus – eine Yandex-Erweiterungsprüfung, die generische robots.txt-Validatoren nicht durchführen, sodass der Fehler jeden anderen Test überleben kann.

Deklaration hier im Vergleich zur Console

Beide Wege funktionieren und sie schließen sich nicht aus. Die Direktive ist öffentlich und von jeder Suchmaschine lesbar; der Console-Eintrag ist Yanders-spezifisch und meldet den Verarbeitungsstatus, Fehler und das Datum des letzten Downloads. Machen Sie für eine Website jeder Größe beides: die Datei für die Reichweite, die Console für die Transparenz, ob es tatsächlich funktioniert hat.

Die Sitemap-Direktive — 2

Die zu vermeidende Interaktion

Blockieren Sie das eigene Verzeichnis der Sitemap nicht mit Disallow. Eine in der Datei deklarierte und durch eine andere Regel in derselben Datei blockierte Sitemap erzeugt den Fehler „URL in robots.txt verboten“, und das kommt auf Websites, auf denen Sitemaps unter einem generierten oder Utility-Pfad liegen, häufiger vor, als es klingt.

Alien Road

So setzen wir das um

The intersectional property is worth knowing simply because it stops people rewriting a working file. The mistake we actually find is the relative path — it looks correct, no generic checker complains, and Yandex ignores the sitemap entirely. We always confirm the declared URL resolves and returns 200 before assuming the sitemap is in play.

Verwandte Leistungen

Teilen