El analizador de robots.txt de Google ahora es de código abierto

Lunes, 1 de julio de 2019

Durante 25 años, el Protocolo de Exclusión de Robots (REP)
fue solo un estándar de facto. Esto a veces tuvo implicaciones frustrantes. Por un lado, para
los webmasters, significaba incertidumbre en casos extremos, como cuando su editor de texto incluía caracteres
BOM en
sus archivos robots.txt. Por otro lado, para los desarrolladores de rastreadores y herramientas, también trajo
incertidumbre; por ejemplo, ¿cómo deberían lidiar con archivos robots.txt que tienen cientos de
megabytes de tamaño?

Hoy, anunciamos que estamos liderando el esfuerzo
para hacer del REP un estándar de internet. Si bien este es un paso importante, significa trabajo adicional para
los desarrolladores que analizan archivos robots.txt.

Estamos aquí para ayudar: hemos hecho de código abierto
la biblioteca de C++ que nuestros sistemas de producción utilizan para analizar y hacer coincidir reglas en archivos
robots.txt. Esta biblioteca ha estado presente durante 20 años y contiene piezas de código que fueron escritas
en los 90. Desde entonces, la biblioteca evolucionó; aprendimos mucho sobre cómo los webmasters escriben
archivos robots.txt y los casos extremos que tuvimos que cubrir, y agregamos lo que aprendimos a lo largo
de los años también al borrador de internet cuando tenía sentido.

También incluimos una herramienta de prueba en el paquete de código abierto para ayudarlo a probar algunas reglas. Una vez
construido, el uso es muy sencillo:

robots_main <robots.txt content> <user_agent> <url>

Si desea consultar la biblioteca, diríjase a nuestro repositorio de GitHub para el
analizador de robots.txt. ¡Nos encantaría
ver lo que puede construir usándolo! Si construyó algo usando la biblioteca, déjenos un comentario en
Twitter, y si tiene comentarios
o preguntas sobre la biblioteca, encuéntrenos en
GitHub.

Publicado por Edu Pereda,
Lode Vandevenne, y
Gary Illyes, equipo de código abierto de Search