Viernes, 7 de marzo de 2025
Una herramienta veterana para los propietarios de sitios web, robots.txt lleva más de 30 años en uso activo y cuenta con el respaldo generalizado de los operadores de rastreadores (como herramientas para propietarios de sitios, servicios y motores de búsqueda). En esta edición de la serie robots refresher, analizaremos más de cerca robots.txt como una forma flexible de indicar a los robots lo que quieres que hagan (o no hagan) en tu sitio web.
Cómo empezar con robots.txt
La forma en que funcionan estos archivos es sencilla: creas un archivo de texto llamado “robots.txt” y luego lo subes a tu sitio web; y si estás utilizando un sistema de gestión de contenidos (CMS), probablemente sea aún más fácil. Puedes dejar tu archivo robots.txt vacío (o no tener uno) si se permite rastrear todo tu sitio, o puedes agregar reglas para administrar el rastreo. Por ejemplo, para indicar a todos los bots (también conocidos como rastreadores, robots, arañas) que se mantengan alejados de tu página de “añadir al carrito”, puedes escribir esto en tu archivo robots.txt:
Cosas más específicas que puedes hacer con robots.txt
robots.txt es la navaja suiza para expresar lo que quieres que hagan o no hagan los diferentes robots en tu sitio web: puede tener solo unas pocas líneas o ser complejo con reglas más elaboradas dirigidas a patrones de URL muy específicos. Puedes usar un archivo robots.txt para resolver problemas técnicos (como páginas paginadas innecesarias), o por razones editoriales o personales (como simplemente no querer que se rastreen ciertas cosas). Por ejemplo, podrías:
Informar a varios bots (pero no a todos) sobre la misma regla  Este grupo indica tanto a | |
Decirle a un bot que evite rutas que contengan un texto específico Por ejemplo, podrías decirle a | |
Decirle a un bot que puede rastrear tu blog, pero no los borradores | |
Bloquear un rastreador de una parte de tu sitio web, mientras permites que otros rastreadores accedan a tu sitio Este archivo robots.txt prohíbe al mencionado | |
Dejar un comentario para tu futuro yo Puedes iniciar una línea con |
Para obtener aún más información, puedes consultar nuestra lista de reglas útiles de robots.txt.
Hacer cambios en tu archivo robots.txt (en la práctica)
El Protocolo de Exclusión de Robots (REP) funciona uniendo reglas (“ permitir” o “bloquear“) y especificando a qué robots se aplican estas reglas. No necesitas aprender programación ni trastear con herramientas; simplemente puedes poner estas reglas en un archivo de texto y subirlo a tu sitio web.Para la mayoría de los sitios web, ¡es aún más simple que eso! Si estás usando un CMS, generalmente ya tiene algo integrado para ayudarte a cambiar tu archivo robots.txt. Por ejemplo, algunos CMS te permiten personalizar tu archivo robots.txt usando casillas de verificación o con un formulario simple, y muchos tienen complementos que te ayudan a configurar y escribir reglas para tu archivo robots.txt. Para verificar qué es posible dentro de tu CMS, puedes buscar el nombre de tu CMS + “edit robots.txt file”.
Una vez que hayas configurado todo, también puedes hacer pruebas para asegurarte de que tu archivo esté configurado como pretendías. Hay muchas herramientas de prueba creadas por la comunidad web para ayudar con esto, como
la herramienta de prueba robots.txt de TametheBot
y este
analizador de robots.txt que utilizan la biblioteca de analizadores de robots.txt de código abierto . Si tienes alguna pregunta sobre robots.txt, puedes encontrarnos en.
LinkedIn o charlar con expertos afines en
nuestros foros de la comunidad . Publicado por.
frubots Refresher: robots.txt — un moyen flexible de contrôler la façon dont les robots explorent votre site web
Cómo lo aplicamos
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Servicios relacionados