robots.txt et Baiduspider

Baiduspider vérifie robots.txt à la racine du domaine avant l’exploration. La syntaxe suit le protocole standard ; les détails ci-dessous indiquent où Baidu diffère ou se montre plus explicite que la plupart des moteurs.

La règle que la plupart des sites comprennent mal

Baidu l’affirme clairement : si vous voulez que tout soit indexé, ne créez aucun fichier robots.txt. Le fichier n’existe que pour exclure. Un fichier vide ou absent laisse le site entièrement ouvert, ce qui est la configuration correcte pour la plupart des sites et celle que les gens remplacent par un modèle mal mémorisé.

Bloquer n’est pas supprimer

Une page bloquée dans robots.txt peut toujours apparaître dans les résultats de Baidu lorsque d’autres sites y font référence. Son contenu n’est ni exploré, ni indexé, ni affiché — ce qui apparaît est la description qu’en font les autres sites. Le blocage contrôle l’exploration ; il ne contrôle pas la présence.

Précision des directives

• Disallow: /help bloque /help.html, /helpabc.html et /help/index.html.
• Disallow: /help/ bloque uniquement /help/index.html — les deux premiers restent explorables.
• Un Disallow: vide tout autorise ; au moins un enregistrement Disallow est requis dans un fichier valide.
• L’ordre compte : le robot applique la première ligne Allow ou Disallow correspondante. Ce n’est pas la règle de la correspondance la plus longue qu’utilisent les autres moteurs, et un fichier rédigé pour Google peut se comporter différemment ici.
• Caractères génériques (Wildcards) : * correspond à n’importe quelle séquence, $ correspond à la fin de la ligne.
• La correspondance est sensible à la casse et exacte. Baidu prévient qu’une erreur de casse rend la règle inefficace.

Directives méta spécifiques à Baidu

• <meta name="robots" content="nofollow"> — ne pas suivre les liens ni transmettre de valeur ; <meta name="Baiduspider" content="nofollow"> limite cela à Baidu seul.
• <meta name="robots" content="noarchive"> — pas d’instantané en cache ; la forme propre à Baidu est <meta name="Baiduspider" content="noarchive">. Notez que noarchive supprime uniquement l’instantané — la page est toujours indexée et affichée avec un résumé.
• Contrôle par lien avec rel="nofollow" est pris en charge.

Identifier le véritable Baiduspider

Baidu ne publie pas ses plages d’adresses IP ; elles changent. La vérification s’effectue par user-agent et DNS inversé, et il existe trois familles d’user-agents — mobile, PC, et mini-programme, avec des Baiduspider-render variantes pour le rendu. Le blocage par IP n’est pas une stratégie prise en charge ; vérifier d’abord l’agent et confirmer par DNS l’est.