Comment Google interprète robots.txt

Google analyse le fichier avec des règles spécifiques qui diffèrent des attentes naïves. Si vous vous trompez, cela échoue généralement silencieusement.

Priorité

La règle la plus spécifique l’emporte, mesurée par la longueur du chemin. Si Disallow: /folder/ et Allow: /folder/page correspondent tous les deux, le Allow le plus long l’emporte. Lorsque les règles sont tout aussi spécifiques, la moins restrictive s’applique.

Caractères génériques

• * correspond à n’importe quelle séquence de caractères.
• $ ancre la fin de l’URL.
• Disallow: /*.pdf$ bloque les PDF mais pas /file.pdf?download=1.

Groupes d’User-agent

Un robot d’exploration obéit au groupe le plus spécifique qui le nomme et ignore tous les autres. Une règle sous User-agent: * n’est pas fusionnée avec les règles sous User-agent: Googlebot, si un groupe Googlebot existe, le groupe générique est complètement ignoré pour Googlebot.

Limites

Google lit jusqu’à 500 KiB ; tout ce qui dépasse est ignoré. Les commentaires commencent par #. Une réponse 4xx est traitée comme “aucune restriction” ; un 5xx persistant est traité comme “tout interdire”.

Alien Road recommande : testez chaque changement dans le testeur robots.txt de la Search Console avant de le déployer. La règle de groupe d’user-agent piège constamment les gens, l’ajout d’une ligne spécifique à Googlebot désactive silencieusement toutes les règles génériques que vous aviez, et le fichier semble toujours correct pour un lecteur humain.