Actualización sobre Robots: Protocolo de exclusión de robots preparado para el futuro

Viernes, 28 de marzo de 2025

En las publicaciones anteriores sobre el Protocolo de Exclusión de Robots (REP), exploramos lo que ya puedes hacer con sus distintos componentes: a saber, robots.txt y los controles a nivel de URI.
En esta publicación exploraremos cómo el REP puede desempeñar un papel de apoyo en la relación en constante evolución entre los clientes automáticos y la web humana.

Actualización sobre Robots: Protocolo de exclusión de robots preparado para el futuro

El REP —specíficamente robots.txt— se convirtió en estándar en 2022 como
RFC9309.
Sin embargo, el trabajo pesado se había hecho antes de su estandarización: fue la prueba del tiempo entre 1994 y 2022 lo que hizo que fuera lo suficientemente popular como para ser adoptado por miles de millones de hosts y prácticamente todos los principales operadores de rastreadores (excluyendo a los rastreadores maliciosos como los escáneres de malware). Es una solución directa y elegante para expresar preferencias con una sintaxis sencilla pero versátil. En sus 25 años de existencia apenas ha tenido que evolucionar desde su forma original, solo ha recibido una regla
allow si solo consideramos las reglas que son universalmente compatibles con los rastreadores.

Eso no significa que no haya otras reglas; cualquier operador de rastreadores puede idear sus propias reglas. Por ejemplo, reglas como “clean-param” y “crawl-delay” no forman parte de RFC9309, pero son compatibles con algunos motores de búsqueda, aunque no con Google Search.
La regla “sitemap“, que de nuevo no forma parte de RFC9309, es compatible con los principales motores de búsqueda. Con el suficiente apoyo, podría convertirse en una regla oficial en el REP.

Porque el REP puede, de hecho, recibir “actualizaciones”. Es un protocolo ampliamente compatible y debería crecer con internet. Hacer cambios en él no es imposible, pero no es fácil; y no debería serlo, precisamente porque el REP cuenta con un amplio apoyo. Al igual que con cualquier cambio en un estándar, debe haber un consenso de que los cambios benefician a la mayoría de los usuarios del protocolo, tanto por parte de los editores como de los operadores de rastreadores.

Actualización sobre Robots: Protocolo de exclusión de robots preparado para el futuro — 2

Debido a su simplicidad y amplia adopción, el REP es un candidato excelente para incorporar nuevas preferencias de rastreo: miles de millones de editores ya están familiarizados con robots.txt y su sintaxis, por lo que realizar cambios en él resulta más natural para ellos. Por otro lado, los operadores de rastreadores ya cuentan con analizadores y comparadores robustos y probados (y Google también ha publicado como código abierto su propio robots.txt parser),
lo que significa que es muy probable que no haya problemas de análisis con las nuevas reglas.

Lo mismo ocurre con las extensiones a nivel de URI del REP, la cabecera HTTP X-robots-tag y su contraparte de metatags. Si se necesita una nueva regla para incluir preferencias de exclusión voluntaria, son fácilmente extensibles. ¿Cómo, sin embargo?

Lo más importante que tú, como lector, puedes hacer es hablar de tu idea públicamente y conseguir defensores para ella. Como el REP es un estándar público, ninguna entidad puede hacer cambios unilaterales en él; claro, pueden implementar soporte para algo nuevo por su parte, pero eso no se convertirá en EL estándar. Sin embargo, hablar de ese cambio y demostrar al ecosistema —tanto a los operadores de rastreadores como al ecosistema de publicación— que beneficia a todos impulsará el consenso, lo que allana el camino para actualizar el estándar.

Del mismo modo, si al protocolo le falta algo, habla de ello públicamente. sitemap
se convirtió en una regla ampliamente compatible en robots.txt porque era útil tanto para los creadores de contenido como para los motores de búsqueda, lo que allanó el camino para la adopción de la extensión. Si tienes una nueva idea para una regla, pregunta a los consumidores de robots.txt y a los creadores qué piensan al respecto, trabaja con ellos para solucionar los posibles (y probables) problemas que planteen y redacta una propuesta.

Si tu motivación es servir al bien común, vale la pena.


Echa un vistazo al resto de la serie Actualización sobre Robots:

Alien Road

Cómo lo aplicamos

We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.

Servicios relacionados

Compartir