Cómo escribir y enviar un archivo robots.txt

Puede
controlar a qué archivos pueden acceder los rastreadores
en su sitio con un archivo robots.txt.

Un archivo robots.txt reside en la raíz de su sitio. Por lo tanto, para el sitio www.example.com, el archivo robots.txt reside en www.example.com/robots.txt. robots.txt es un archivo de texto sin formato que sigue el
Robots Exclusion Standard. Un archivo robots.txt consta de una o más reglas. Cada regla bloquea o permite el acceso de todos o de un rastreador específico a una ruta de archivo especificada en el dominio o subdominio donde está alojado el archivo robots.txt. A menos que especifique lo contrario en su archivo robots.txt, todos los archivos están implícitamente permitidos para el rastreo.

Aquí hay un archivo robots.txt simple con dos reglas:

Esto es lo que significa ese archivo robots.txt:

1. Al agente de usuario llamado Googlebot no se le permite rastrear ninguna URL que comience con
   https://example.com/nogooglebot/.
2. Todos los demás agentes de usuario pueden rastrear todo el sitio. Esto podría haberse omitido y el resultado habría sido el mismo; el comportamiento predeterminado es que los agentes de usuario pueden rastrear todo el sitio.
3. El archivo sitemap del sitio se encuentra en
   https://www.example.com/sitemap.xml.

Consulte la sección sintaxis para ver más ejemplos.

Pautas básicas para crear un archivo robots.txt

Crear un archivo robots.txt y hacerlo generalmente accesible y útil implica cuatro pasos:

1. Cree un archivo llamado robots.txt.
2. Agregue reglas al archivo robots.txt.
3. Cargue el archivo robots.txt en la raíz de su sitio.
4. Pruebe el archivo robots.txt.

Cree un archivo robots.txt

Puede utilizar casi cualquier editor de texto para crear un archivo robots.txt. Por ejemplo, Notepad, TextEdit, vi y emacs pueden crear archivos robots.txt válidos. No utilice un procesador de textos; los procesadores de textos a menudo guardan archivos en un formato propietario y pueden agregar caracteres inesperados, como comillas curvas, que pueden causar problemas a los rastreadores. Asegúrese de guardar el archivo con codificación UTF-8 si se le solicita durante el cuadro de diálogo de guardar archivo.

Reglas de formato y ubicación:

• El archivo debe llamarse robots.txt.
• Su sitio puede tener solo un archivo robots.txt.
• El archivo robots.txt debe estar ubicado en la raíz del host del sitio al que se aplica. Por ejemplo, para controlar el rastreo en todas las URL debajo de
  https://www.example.com/, el archivo robots.txt debe estar ubicado en
  https://www.example.com/robots.txt. No puede colocarse en un subdirectorio (por ejemplo, en https://example.com/pages/robots.txt). Si no está seguro de cómo acceder a la raíz de su sitio, o necesita permisos para hacerlo, comuníquese con su proveedor de servicios de alojamiento web. Si no puede acceder a la raíz de su sitio, utilice un método de bloqueo alternativo como meta etiquetas.
• Un archivo robots.txt se puede publicar en un subdominio (por ejemplo,
  https://site.example.com/robots.txt) o en puertos no estándar (por ejemplo, https://example.com:8181/robots.txt).
• Un archivo robots.txt se aplica solo a las rutas dentro del protocolo, host y puerto donde se publica. Es decir, las reglas en https://example.com/robots.txt se aplican solo a los archivos en
  https://example.com/, no a subdominios como
  https://m.example.com/, o protocolos alternativos, como
  http://example.com/.
• Un archivo robots.txt debe ser un archivo de texto codificado en UTF-8 (que incluye ASCII). Google puede ignorar los caracteres que no forman parte del rango UTF-8, lo que podría invalidar las reglas de robots.txt.

Cómo escribir reglas de robots.txt

Las reglas son instrucciones para los rastreadores sobre qué partes de su sitio pueden rastrear. Siga estas pautas al agregar reglas a su archivo robots.txt:

• Un archivo robots.txt consta de uno o más grupos (conjunto de reglas).
• Cada grupo consta de varias reglas (también conocidas como directivas), una regla por línea. Cada grupo comienza con una línea User-agent que especifica el objetivo de los grupos.
• Un grupo proporciona la siguiente información:
  • A quién se aplica el grupo (el agente de usuario).
  • A qué directorios o archivos puede acceder ese agente.
  • A qué directorios o archivos no puede acceder ese agente.
• Los rastreadores procesan los grupos de arriba a abajo. Un agente de usuario puede coincidir con un solo conjunto de reglas, que es el primer grupo más específico que coincide con un agente de usuario determinado. Si hay varios grupos para el mismo agente de usuario, los grupos se combinarán en un solo grupo antes de procesarlos.
• La suposición predeterminada es que un agente de usuario puede rastrear cualquier página o directorio que no esté bloqueado por una regla
  disallow .
• Las reglas distinguen entre mayúsculas y minúsculas. Por ejemplo, disallow: /file.asp se aplica a
  https://www.example.com/file.asp, pero no a
  https://www.example.com/FILE.asp.
• El carácter # marca el comienzo de un comentario. Los comentarios se ignoran durante el procesamiento.

Los rastreadores de Google admiten las siguientes reglas en los archivos robots.txt:

• user-agent: [Obligatorio, uno o más por grupo] La regla especifica el nombre del cliente automático conocido como rastreador de motores de búsqueda al que se aplica la regla. Esta es la primera línea de cualquier grupo de reglas. Los nombres de los agentes de usuario de Google se enumeran en la
  lista de agentes de usuario de Google. El uso de un asterisco (*) coincide con todos los rastreadores, excepto los diversos rastreadores AdsBot, que deben nombrarse explícitamente. Por ejemplo:*disallow:
• [Al menos una o más entradas disallow o allow
  por regla] Un directorio o página, relativo al dominio raíz, que no desea que el agente de usuario rastree. Si la regla se refiere a una página, debe ser el nombre completo de la página tal como se muestra en el navegador. Debe comenzar con un carácter y si se refiere a un directorio, debe terminar con la marca / . / allow:
• [Al menos una o más entradas disallow o allow
  por regla] Un directorio o página, relativo al dominio raíz, que puede ser rastreado por el agente de usuario recién mencionado. Esto se utiliza para anular una regla disallow
  para permitir el rastreo de un subdirectorio o página en un directorio no permitido. Para una sola página, especifique el nombre completo de la página tal como se muestra en el navegador. Debe comenzar con un carácter y si se refiere a un directorio, debe terminar con la marca / .
  / sitemap:
• [Opcional, cero o más por archivo] La ubicación de un mapa del sitio para este sitio. La URL del mapa del sitio debe ser una URL completa; Google no asume ni verifica alternativas http/https/www.non-www. Los mapas del sitio son una buena forma de indicar qué contenido debe rastrear Google, en lugar de qué contenido puede
  o no puede rastrear. Obtenga más información sobre los mapas del sitio. Ejemplo:
  Todas las reglas, excepto
  sitemap

, admiten el comodín para un prefijo de ruta, sufijo o cadena completa.Las líneas que no coinciden con ninguna de estas reglas se ignoran. * Lea nuestra página sobre

la interpretación de Google de la especificación robots.txt

para obtener la descripción completa de cada regla.
Suba el archivo robots.txt
Una vez que haya guardado su archivo robots.txt en su computadora, estará listo para ponerlo a disposición de los rastreadores de los motores de búsqueda. No existe una herramienta única que pueda ayudarlo con esto, porque la forma en que sube el archivo robots.txt a su sitio depende de la arquitectura de su sitio y servidor. Póngase en contacto con su empresa de alojamiento o busque en la documentación de su empresa de alojamiento; por ejemplo, busque “upload files infomaniak”.

Después de subir el archivo robots.txt, pruebe si es accesible públicamente y si Google puede analizarlo.

Pruebe el marcado de robots.txt

Para probar si su archivo robots.txt recién subido es accesible públicamente, abra una

ventana de navegación privada

(o equivalente) en su navegador y navegue a la ubicación del archivo robots.txt. Por ejemplo,
https://example.com/robots.txt
. Si ve el contenido de su archivo robots.txt, está listo para probar el marcado. Google ofrece dos opciones para solucionar problemas con el marcado de robots.txt:El

informe de robots.txt

1. en Search Console. Solo puede usar este informe para archivos robots.txt que ya sean accesibles en su sitio.
   Si es desarrollador, consulte y cree la biblioteca de robots.txt de código abierto de Google
2. , que también se utiliza en la Búsqueda de Google. Puede usar esta herramienta para probar archivos robots.txt localmente en su computadora.
   Envíe el archivo robots.txt a GoogleUna vez que haya subido y probado su archivo robots.txt, los rastreadores de Google encontrarán y comenzarán a usar su archivo robots.txt automáticamente. No tiene que hacer nada. Si actualizó su archivo robots.txt y necesita actualizar la copia en caché de Google lo antes posible, aprenda

cómo enviar un archivo robots.txt actualizado

Cómo escribir y enviar un archivo robots.txt | Alien Road
Un archivo robots.txt vive en la raíz de su sitio. Aprenda a crear un archivo robots.txt, vea ejemplos y explore las reglas de robots.txt..