Nuevos proyectos de robots.txt de código abierto

Lunes, 21 de septiembre de 2020

El año pasado lanzamos el
analizador y comparador de robots.txt que utilizamos en nuestros sistemas de producción al mundo del código abierto. Desde entonces, hemos visto a la gente construir nuevas herramientas con él,
contribuir a la librería de código abierto (mejorando efectivamente nuestros sistemas de producción, ¡gracias!) y lanzar nuevas versiones de lenguajes como golang y
rust, que facilitan a los desarrolladores la creación de nuevas herramientas.

Con el fin de la temporada de prácticas aquí en Google, queríamos destacar dos nuevos lanzamientos relacionados con robots.txt que fueron posibles gracias a dos becarios que trabajaban en el equipo de Search Open Sourcing,
Andreea Dutulescu y
Ian Dolzhanskii.

Prueba de especificación de Robots.txt

Primero, estamos lanzando un
marco de pruebas para desarrolladores de analizadores de robots.txt, creado por Andreea. El proyecto proporciona una herramienta de pruebas que puede validar si un analizador de robots.txt sigue el Protocolo de Exclusión de Robots, o hasta qué punto. Actualmente no existe una manera oficial y exhaustiva de evaluar la corrección de un analizador, por lo que Andreea construyó una herramienta que se puede utilizar para crear analizadores de robots.txt que sigan el protocolo.

Analizador y comparador de robots.txt en Java

Segundo, estamos lanzando una
versión oficial para Java del analizador de robots.txt en C++, creada por Ian. Java es el
tercer lenguaje de programación más popular
en GitHub y también se utiliza ampliamente en Google, por lo que no es de extrañar que haya sido la versión de lenguaje más solicitada. El analizador es una traducción 1 a 1 del analizador en C++ en términos de funciones y comportamiento, y se ha probado exhaustivamente para comprobar su paridad con un gran corpus de reglas de robots.txt. Los equipos ya están planeando utilizar el analizador de robots.txt en Java en los sistemas de producción de Google, y esperamos que a ti también te resulte útil.

Como de costumbre, agradecemos vuestras contribuciones a estos proyectos. Si has construido algo con el
analizador de robots.txt en C++ o con estos nuevos lanzamientos, ¡háznoslo saber para que podamos ayudarte potencialmente a difundir la noticia! Si has encontrado un error, ayúdanos a solucionarlo abriendo una incidencia en GitHub o contribuyendo directamente con una solicitud de extracción (pull request). Si tienes preguntas o comentarios sobre estos proyectos, encuéntranos en
Twitter!

.

Fue un verdadero placer recibir a Andreea y a Ian, y nos entristece que sus prácticas estén llegando a su fin. Sus contribuciones ayudan a hacer de Internet un lugar mejor y esperamos poder darles la bienvenida de nuevo a Google en el futuro. Publicado por Edu Pereda
yGary Illyes