Cómo interpreta Google robots.txt

Google analiza el archivo con reglas específicas que difieren de las expectativas ingenuas. Si se equivoca, generalmente falla silenciosamente.

Precedencia

La regla más específica gana, medida por la longitud de la ruta. Si Disallow: /folder/ y Allow: /folder/page ambas coinciden, gana el Allow más largo. Cuando las reglas son igualmente específicas, se aplica la menos restrictiva.

Comodines

• * coincide con cualquier secuencia de caracteres.
• $ ancla el final de la URL.
• Disallow: /*.pdf$ bloquea los PDF pero no /file.pdf?download=1.

Grupos de User-agent

Un rastreador obedece al grupo más específico que lo nombra e ignora a todos los demás. Una regla bajo User-agent: * no se fusiona con las reglas bajo User-agent: Googlebot, si existe un grupo de Googlebot, el grupo comodín se ignora por completo para Googlebot.

Límites

Google lee hasta 500 KiB; todo lo que pase de eso se ignora. Los comentarios comienzan con #. Una respuesta 4xx se trata como “sin restricciones”; un 5xx persistente se trata como “no permitir nada”.

Alien Road recomienda: pruebe cada cambio en el probador de robots.txt de Search Console antes de implementarlo. La regla del grupo de user-agent atrapa a la gente constantemente; agregar una línea específica para Googlebot desactiva silenciosamente todas las reglas de comodines que tenía, y el archivo sigue pareciendo correcto para un lector humano.