robots.txt und Baiduspider

Baiduspider prüft robots.txt im Root der Domain vor dem Crawlen. Die Syntax folgt dem Standardprotokoll; die Details unten zeigen, wo sich Baidu unterscheidet oder expliziter ist als die meisten Suchmaschinen.

Die Regel, die die meisten Websites falsch machen

Baidu sagt es ganz klar: wenn Sie möchten, dass alles indexiert wird, erstellen Sie überhaupt keine robots.txt-Datei. Die Datei existiert nur zum Ausschließen. Eine leere oder fehlende Datei lässt die Website vollständig offen, was die korrekte Konfiguration für die meisten Websites ist und diejenige, die die Leute durch eine halb erinnerte Vorlage ersetzen.

Blockieren ist kein Löschen

Eine blockierte Seite in robots.txt kann immer noch in Baidu-Ergebnissen erscheinen wenn andere Websites darauf verlinken. Ihr Inhalt wird weder gecrawlt, indexiert noch angezeigt — was erscheint, ist die Beschreibung davon durch andere Websites. Blockieren steuert das Crawlen; es steuert nicht die Präsenz.

Präzision der Direktiven

• Disallow: /help blockiert /help.html, /helpabc.html und /help/index.html.
• Disallow: /help/ blockiert nur /help/index.html — die ersten beiden bleiben crawlbar.
• Ein leeres Disallow: erlaubt alles; mindestens ein Disallow Eintrag ist in einer gültigen Datei erforderlich.
• Die Reihenfolge ist wichtig: der Roboter wendet die erste passende Allow oder Disallow Zeile an. Dies ist nicht die Regel der längsten Übereinstimmung, die andere Suchmaschinen verwenden, und eine für Google geschriebene Datei kann sich hier anders verhalten.
• Wildcards: * entspricht jeder Sequenz, $ entspricht dem Ende der Zeile.
• Der Abgleich ist groß-/kleinschreibungssensitiv und exakt. Baidu warnt, dass eine Abweichung bei der Groß-/Kleinschreibung die Regel unwirksam macht.

Baidu-spezifische Meta-Direktiven

• <meta name="robots" content="nofollow"> — Links nicht folgen oder keinen Wert weitergeben; <meta name="Baiduspider" content="nofollow"> beschränkt dies nur auf Baidu.
• <meta name="robots" content="noarchive"> — kein zwischengespeichertes Snapshot; die nur für Baidu geltende Form ist <meta name="Baiduspider" content="noarchive">. Beachten Sie, dass noarchive nur das Snapshot unterdrückt — die Seite wird weiterhin indexiert und mit einer Zusammenfassung angezeigt.
• Link-spezifische Steuerung mit rel="nofollow" wird unterstützt.

Identifizierung des echten Baiduspider

Baidu veröffentlicht seine IP-Bereiche nicht; sie ändern sich. Die Verifizierung erfolgt über User-Agent plus Reverse-DNS, und es gibt drei User-Agent-Familien — mobil, PC, und Mini-Programm, mit Baiduspider-render Varianten zum Rendern. Das Blockieren nach IP ist keine unterstützte Strategie; das Überprüfen des Agents zuerst und das Bestätigen per DNS schon.