Simplificación del elemento de URL visible en los resultados de búsqueda móvil | Alien Road

Los usuarios de búsquedas móviles verán próximamente un aspecto más limpio y optimizado en la forma en que las URLs aparecen en los resultados de búsqueda.

Actualización sobre Robots: presentación de una nueva serie Lunes, 24 de febrero de 2025De vez en cuando recibimos preguntas sobre robots.txt, las etiquetas meta de robots y la

funcionalidad de control

que ofrecen. Tras nuestra

A “serie de diciembre sobre rastreo, pensamos que este sería el momento perfecto para preparar un repaso ligero. Así que, si tienes curiosidad por estos controles, ¡sigue esta nueva serie de publicaciones en el blog! Empecemos desde el principio, con robots.txt.Entonces, ¿qué es robots.txt? robots.txt es un archivo que cualquier sitio web puede proporcionar. En su forma más simple, es un archivo de texto que se almacena en el servidor. Casi todos los sitios web tienen un archivo robots.txt.

. Para ver uno, toma el nombre de dominio y añade

/robots.txt

al final, luego navega a esa dirección. Por ejemplo, el archivo robots.txt de este sitio web está en

developers.google.com/robots.txt .
La mayoría de los sitios web utilizan sistemas de gestión de contenido (CMS) que crean estos archivos automáticamente, pero incluso si estás creando tu sitio web “a mano”, es fácil de crear. Echaremos un vistazo a algunas de las variaciones en futuras publicaciones.

¿Para qué sirven estos archivos?

Los archivos robots.txt indican a los rastreadores web qué partes de un sitio web están disponibles para el acceso automatizado (a lo que llamamos rastreo) y cuáles no. Permite a los sitios abordar todo su sitio, partes de su sitio o incluso archivos específicos dentro de su sitio. Además de ser legibles por máquina, los archivos también son legibles por humanos. Esto significa que siempre hay una respuesta directa de sí o no con respecto a si se permite o no el acceso a una página de forma automatizada por parte de un rastreador específico.
Es una práctica estándar para cualquiera que construya un rastreador seguir estas directivas, y es fácil para un desarrollador respaldarlas; hay más de
1000 bibliotecas de código abierto
disponibles para desarrolladores. El archivo proporciona instrucciones a los rastreadores para un rastreo óptimo de un sitio web. Los sitios web modernos pueden ser complejos, navegar por ellos automáticamente puede ser un desafío, y las reglas de robots.txt ayudan a los rastreadores a centrarse en el contenido adecuado. Esto también ayuda a los rastreadores a evitar páginas creadas dinámicamente que podrían generar tensión en el servidor y hacer que el rastreo sea innecesariamente ineficiente. Debido a que los archivos robots.txt son tanto técnicamente útiles como buenos para las relaciones con los propietarios de sitios web, la mayoría de los operadores comerciales de rastreadores los siguen.
Construido y ampliado por el público

Los archivos robots.txt han existido casi tanto tiempo como el internet ha existido, y es una de las herramientas esenciales que permite que internet funcione como lo hace. El HTML, la fundación de las páginas web, fue inventado en 1991, los primeros navegadores llegaron en 1992 y robots.txt llegó en 1994. Eso significa que son anteriores incluso a Google, que fue fundado en 1998. El formato se ha mantenido prácticamente sin cambios desde entonces, y

un archivo de los primeros días

seguiría siendo válido ahora. A través de tres años de compromiso con la comunidad global, se convirtió en un estándar propuesto por la IETF
en 2022.

Si tienes un sitio web, lo más probable es que también tengas un archivo robots.txt. Hay una comunidad vibrante y activa alrededor de robots.txt, hay miles de herramientas de software que ayudan a construir, probar, gestionar o entender archivos robots.txt de todas las formas y tamaños. Sin embargo, la belleza de robots.txt es que no necesitas herramientas sofisticadas; es posible leer el archivo en un navegador y, para un sitio web que administras, ajustarlo en un editor de texto simple.

Mirando hacia el futuro…

El formato robots.txt es flexible. Hay espacio para el crecimiento, la comunidad web pública puede ampliarlo y los rastreadores pueden anunciar extensiones cuando sea apropiado, sin romper el uso existente. Esto ocurrió en 2007, cuandolos motores de búsqueda anunciaron la directiva “sitemap”

. También ocurre regularmente a medida que los operadores de rastreadores y los motores de búsqueda admiten nuevos “user-agents”, como los utilizados para fines de AI.