Wie Google robots.txt interpretiert

Google analysiert die Datei mit spezifischen Regeln, die von naiven Erwartungen abweichen. Wenn man sie falsch versteht, führt das meist zu einem stillen Fehler.

Rangfolge

Die spezifischste Regel gewinnt, gemessen an der Pfadlänge. Wenn Disallow: /folder/ und Allow: /folder/page beide übereinstimmen, gewinnt das längere Allow . Wenn Regeln gleich spezifisch sind, gilt die am wenigsten restriktive.

Platzhalter

• * entspricht einer beliebigen Zeichenfolge.
• $ verankert das Ende der URL.
• Disallow: /*.pdf$ blockiert PDFs, aber nicht /file.pdf?download=1.

User-Agent-Gruppen

Ein Crawler befolgt die einzelne spezifischste Gruppe, die ihn benennt, und ignoriert alle anderen. Eine Regel unter User-agent: * wird nicht mit Regeln unter User-agent: Googlebotzusammengeführt; wenn eine Googlebot-Gruppe existiert, wird die Platzhaltergruppe für Googlebot vollständig ignoriert.

Limits

Google liest bis zu 500 KiB; alles darüber hinaus wird ignoriert. Kommentare beginnen mit #. Eine 4xx-Antwort wird als “keine Einschränkungen” behandelt; ein dauerhaftes 5xx wird als “alles verbieten” behandelt.

Alien Road empfiehlt: Testen Sie jede Änderung im robots.txt-Tester der Search Console, bevor Sie sie bereitstellen. Die User-Agent-Gruppenregel erwischt Leute ständig; das Hinzufügen einer Googlebot-spezifischen Zeile deaktiviert stillschweigend jede Platzhalterregel, die Sie hatten, und die Datei sieht für einen menschlichen Leser immer noch korrekt aus.