{"id":25672,"date":"2026-09-06T00:47:45","date_gmt":"2026-09-05T21:47:45","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/how-to-write-and-submit-a-robots-txt-file\/"},"modified":"2026-09-06T00:51:44","modified_gmt":"2026-09-05T21:51:44","slug":"how-to-write-and-submit-a-robots-txt-file","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/how-to-write-and-submit-a-robots-txt-file\/","title":{"rendered":"C\u00f3mo escribir y enviar un archivo robots.txt"},"content":{"rendered":"\n<aside class=\"key-point is-layout-flow wp-block-group-is-layout-flow\">\n  <p>\n    <b>Si utilizas un servicio de alojamiento web, como Wix o Blogger<\/b>, es posible que no necesites (o no puedas) editar tu archivo robots.txt directamente. En su lugar, tu proveedor podr\u00eda ofrecer una p\u00e1gina de configuraci\u00f3n de b\u00fasqueda u otro mecanismo para indicar a los motores de b\u00fasqueda si deben rastrear tu p\u00e1gina o no.\n  <\/p>\n  <p>\n    Si deseas ocultar o mostrar una de tus p\u00e1ginas a los motores de b\u00fasqueda, busca instrucciones sobre c\u00f3mo modificar la visibilidad de tu p\u00e1gina en los motores de b\u00fasqueda dentro de tu servicio de alojamiento; por ejemplo, busca &#8220;wix ocultar p\u00e1gina de motores de b\u00fasqueda&#8221;.\n  <\/p>\n<\/aside>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Puedes <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/robots-txt-intro\/\">controlar a qu\u00e9 archivos pueden acceder los rastreadores<\/a> en tu sitio mediante un archivo robots.txt.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Un archivo robots.txt se aloja en la ra\u00edz de tu sitio. Por lo tanto, para el sitio <code>www.example.com<\/code>, el archivo robots.txt se encuentra en <code>www.example.com\/robots.txt<\/code>. robots.txt es un archivo de texto plano que sigue el <a href=\"https:\/\/en.wikipedia.org\/wiki\/Robots_exclusion_standard#About_the_standard\" class=\"external-link\">Est\u00e1ndar de exclusi\u00f3n de robots<\/a>. Un archivo robots.txt consta de una o m\u00e1s reglas. Cada regla bloquea o permite el acceso de todos los rastreadores, o de uno espec\u00edfico, a una ruta de archivo determinada en el dominio o subdominio donde est\u00e1 alojado el archivo robots.txt. A menos que especifiques lo contrario en tu archivo robots.txt, todos los archivos est\u00e1n impl\u00edcitamente permitidos para el rastreo.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Aqu\u00ed tienes un archivo robots.txt sencillo con dos reglas:<\/p>\n\n\n\n<div><\/div>\n\n\n\n<p class=\"wp-block-paragraph\"><b>Esto es lo que significa ese archivo robots.txt:<\/b><\/p>\n\n\n\n<ol class=\"wp-block-list\">\n  <li>\n    Al agente de usuario llamado Googlebot no se le permite rastrear ninguna URL que comience con <code>https:\/\/example.com\/nogooglebot\/<\/code>.\n  <\/li>\n  <li>\n    A todos los dem\u00e1s agentes de usuario se les permite rastrear todo el sitio. Esto podr\u00eda haberse omitido y el resultado habr\u00eda sido el mismo; el comportamiento predeterminado es que los agentes de usuario pueden rastrear todo el sitio.\n  <\/li>\n  <li>\n    El <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/sitemaps-overview\/\">archivo sitemap<\/a> del sitio se encuentra en <code>https:\/\/www.example.com\/sitemap.xml<\/code>.\n  <\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Consulta la secci\u00f3n de <a href=\"#create_rules\">sintaxis<\/a> para ver m\u00e1s ejemplos.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"learn_robots_txt_syntax\" tabindex=\"-1\">Directrices b\u00e1sicas para crear un archivo robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Crear un archivo robots.txt y hacerlo accesible y \u00fatil implica cuatro pasos:\n<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n  <li><a href=\"#format_location\">Crea un archivo llamado robots.txt<\/a>.<\/li>\n  <li><a href=\"#create_rules\">A\u00f1ade reglas al archivo robots.txt<\/a>.<\/li>\n  <li><a href=\"#upload\">Sube el archivo robots.txt a la ra\u00edz de tu sitio<\/a>.<\/li>\n  <li><a href=\"#testing\">Prueba el archivo robots.txt<\/a>.<\/li>\n<\/ol>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"format_location\" tabindex=\"-1\">Crear un archivo robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Puedes usar casi cualquier editor de texto para crear un archivo robots.txt. Por ejemplo, el Bloc de notas, TextEdit, vi y emacs pueden crear archivos robots.txt v\u00e1lidos. No utilices un procesador de textos; estos suelen guardar los archivos en un formato propietario y pueden a\u00f1adir caracteres inesperados, como comillas tipogr\u00e1ficas, que pueden causar problemas a los rastreadores. Aseg\u00farate de guardar el archivo con codificaci\u00f3n UTF-8 si se te solicita durante el di\u00e1logo de guardado.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><b>Reglas de formato y ubicaci\u00f3n:<\/b><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n  <li>El archivo debe llamarse robots.txt.<\/li>\n  <li>Tu sitio solo puede tener un archivo robots.txt.<\/li>\n  <li>\n    El archivo robots.txt debe estar ubicado en la ra\u00edz del host del sitio al que se aplica. Por ejemplo, para controlar el rastreo en todas las URL bajo <code>https:\/\/www.example.com\/<\/code>, el archivo robots.txt debe estar en <code>https:\/\/www.example.com\/robots.txt<\/code>. <i>No<\/i> puede colocarse en un subdirectorio (por ejemplo, en <code>https:\/\/example.com\/pages\/robots.txt<\/code>). Si no est\u00e1s seguro de c\u00f3mo acceder a la ra\u00edz de tu sitio o necesitas permisos para hacerlo, contacta con tu proveedor de servicios de alojamiento web. Si no puedes acceder a la ra\u00edz de tu sitio, utiliza un m\u00e9todo de bloqueo alternativo, como las <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/block-search-indexing-with-noindex\/\">etiquetas <code>meta<\/code><\/a>.\n  <\/li>\n  <li>\n    Un archivo robots.txt puede publicarse en un subdominio (por ejemplo, <code>https:\/\/<b>site<\/b>.example.com\/robots.txt<\/code>) o en puertos no est\u00e1ndar (por ejemplo, <code>https:\/\/example.com:<b>8181<\/b>\/robots.txt<\/code>).\n  <\/li>\n  <li>Un archivo robots.txt se aplica solo a las rutas dentro del protocolo, host y puerto donde se publica. Es decir, las reglas en <code>https:\/\/example.com\/robots.txt<\/code> se aplican solo a los archivos en <code>https:\/\/example.com\/<\/code>, no a subdominios como <code>https:\/\/m.example.com\/<\/code>, ni a protocolos alternativos, como <code>http:\/\/example.com\/<\/code>.\n  <\/li>\n  <li>\n    Un archivo robots.txt debe ser un archivo de texto codificado en UTF-8 (lo que incluye ASCII). Google puede ignorar caracteres que no formen parte del rango UTF-8, lo que podr\u00eda invalidar las reglas del robots.txt.\n  <\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"create_rules\" tabindex=\"-1\">C\u00f3mo escribir reglas en robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Las reglas son instrucciones para los rastreadores sobre qu\u00e9 partes de tu sitio pueden rastrear. Sigue estas directrices al a\u00f1adir reglas a tu archivo robots.txt:\n<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n  <li>Un archivo robots.txt consta de uno o m\u00e1s grupos (conjuntos de reglas).<\/li>\n  <li>\n    Cada grupo consta de varias reglas (tambi\u00e9n conocidas como directivas), una regla por l\u00ednea. Cada grupo comienza con una l\u00ednea <code>User-agent<\/code> que especifica el objetivo de los grupos.\n  <\/li>\n  <li>Un grupo proporciona la siguiente informaci\u00f3n:\n    <ul>\n      <li>A qui\u00e9n se aplica el grupo (el agente de usuario).<\/li>\n      <li>Qu\u00e9 directorios o archivos <i>puede<\/i> acceder ese agente.<\/li>\n      <li>Qu\u00e9 directorios o archivos <i>no puede<\/i> acceder ese agente.<\/li>\n    <\/ul>\n  <\/li>\n  <li>\n    Los rastreadores procesan los grupos de arriba a abajo. Un agente de usuario solo puede coincidir con un conjunto de reglas, que es el primer grupo m\u00e1s espec\u00edfico que coincide con un agente de usuario determinado. Si hay varios grupos para el mismo agente de usuario, los grupos se combinar\u00e1n en uno solo antes de procesarse.\n  <\/li>\n  <li>\n    La suposici\u00f3n predeterminada es que un agente de usuario puede rastrear cualquier p\u00e1gina o directorio que no est\u00e9 bloqueado por una regla <code>disallow<\/code>.\n  <\/li>\n  <li>\n    Las reglas distinguen entre may\u00fasculas y min\u00fasculas. Por ejemplo, <code>disallow: \/file.asp<\/code> se aplica a <code>https:\/\/www.example.com\/file.asp<\/code>, pero no a <code>https:\/\/www.example.com\/FILE.asp<\/code>.\n  <\/li>\n  <li>\n    El car\u00e1cter <code>#<\/code> marca el inicio de un comentario. Los comentarios se ignoran durante el procesamiento.\n  <\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\"><b>Los rastreadores de Google admiten las siguientes reglas en los archivos robots.txt:<\/b><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n  <li>\n    <code>user-agent:<\/code> [Obligatorio, uno o m\u00e1s por grupo] La regla especifica el nombre del cliente autom\u00e1tico conocido como rastreador de motor de b\u00fasqueda al que se aplica la regla. Esta es la primera l\u00ednea de cualquier grupo de reglas. Los nombres de los agentes de usuario de Google se enumeran en la <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/overview-google-crawlers\">lista de agentes de usuario de Google<\/a>. El uso de un asterisco (<code>*<\/code>) coincide con todos los rastreadores, excepto con los diversos rastreadores AdsBot, que deben nombrarse expl\u00edcitamente. Por ejemplo:\n<div><\/div>\n  <\/li>\n  <li>\n    <code>disallow:<\/code> [Al menos una o m\u00e1s entradas <code>disallow<\/code> o <code>allow<\/code> por regla] Un directorio o p\u00e1gina, relativo al dominio ra\u00edz, que no quieres que el agente de usuario rastree. Si la regla se refiere a una p\u00e1gina, debe ser el nombre completo de la p\u00e1gina tal como se muestra en el navegador. Debe comenzar con un car\u00e1cter <code>\/<\/code> y, si se refiere a un directorio, debe terminar con la marca <code>\/<\/code>.\n  <\/li>\n  <li>\n    <code>allow:<\/code> [Al menos una o m\u00e1s entradas <code>disallow<\/code> o <code>allow<\/code> por regla] Un directorio o p\u00e1gina, relativo al dominio ra\u00edz, que puede ser rastreado por el agente de usuario mencionado anteriormente. Se utiliza para anular una regla <code>disallow<\/code> y permitir el rastreo de un subdirectorio o p\u00e1gina dentro de un directorio no permitido. Para una sola p\u00e1gina, especifica el nombre completo de la p\u00e1gina tal como se muestra en el navegador. Debe comenzar con un car\u00e1cter <code>\/<\/code> y, si se refiere a un directorio, debe terminar con la marca <code>\/<\/code>.\n  <\/li>\n  <li>\n    <code>sitemap:<\/code> [Opcional, cero o m\u00e1s por archivo] La ubicaci\u00f3n de un sitemap para este sitio. La URL del sitemap debe ser una URL completa; Google no asume ni comprueba alternativas http\/https\/www.non-www. Los sitemaps son una buena forma de indicar qu\u00e9 contenido debe rastrear Google, a diferencia de qu\u00e9 contenido <i>puede<\/i> o <i>no puede<\/i> rastrear. <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/sitemaps-overview\/\">M\u00e1s informaci\u00f3n sobre sitemaps.<\/a> <b>Ejemplo:<\/b>\n<div><\/div>\n  <\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Todas las reglas, excepto <code>sitemap<\/code>, admiten el comod\u00edn <code>*<\/code> para un prefijo de ruta, sufijo o cadena completa.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Las l\u00edneas que no coinciden con ninguna de estas reglas se ignoran.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Lee nuestra p\u00e1gina sobre la <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/how-google-interprets-the-robots-txt-specification\/\">interpretaci\u00f3n de Google de la especificaci\u00f3n robots.txt<\/a> para obtener la descripci\u00f3n completa de cada regla.\n<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"upload\" tabindex=\"-1\">Subir el archivo robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Una vez que hayas guardado tu archivo robots.txt en tu ordenador, estar\u00e1s listo para ponerlo a disposici\u00f3n de los rastreadores de los motores de b\u00fasqueda. No existe una \u00fanica herramienta que pueda ayudarte con esto, ya que la forma en que subes el archivo robots.txt a tu sitio depende de la arquitectura de tu sitio y servidor. Ponte en contacto con tu empresa de alojamiento o busca en su documentaci\u00f3n; por ejemplo, busca &#8220;subir archivos infomaniak&#8221;.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Despu\u00e9s de subir el archivo robots.txt, comprueba si es accesible p\u00fablicamente y si Google puede analizarlo.\n<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"testing\" tabindex=\"-1\">\n  Probar el marcado de robots.txt\n<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Para probar si tu archivo robots.txt reci\u00e9n subido es accesible p\u00fablicamente, abre una <a href=\"https:\/\/support.google.com\/chrome\/answer\/95464\" class=\"external-link\">ventana de navegaci\u00f3n privada<\/a> (o equivalente) en tu navegador y navega a la ubicaci\u00f3n del archivo robots.txt. Por ejemplo, <code>https:\/\/example.com\/robots.txt<\/code>. Si ves el contenido de tu archivo robots.txt, est\u00e1s listo para probar el marcado.\n<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Google ofrece dos opciones para solucionar problemas con el marcado de robots.txt:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n  <li>\n    El <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062598\" class=\"external-link\">informe de robots.txt<\/a> en Search Console. Solo puedes usar este informe para archivos robots.txt que ya sean accesibles en tu sitio.\n  <\/li>\n  <li>\n    Si eres desarrollador, consulta y compila la <a href=\"https:\/\/github.com\/google\/robotstxt\" class=\"external-link\">biblioteca de c\u00f3digo abierto de robots.txt de Google<\/a>, que tambi\u00e9n se utiliza en la B\u00fasqueda de Google. Puedes usar esta herramienta para probar archivos robots.txt localmente en tu ordenador.\n  <\/li>\n<\/ol>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"submit\" tabindex=\"-1\">Enviar el archivo robots.txt a Google<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\n  Una vez que hayas subido y probado tu archivo robots.txt, los rastreadores de Google encontrar\u00e1n y comenzar\u00e1n a utilizar tu archivo robots.txt autom\u00e1ticamente. No tienes que hacer nada. Si has actualizado tu archivo robots.txt y necesitas actualizar la copia en cach\u00e9 de Google lo antes posible, aprende <a href=\"https:\/\/alienroad.com\/google-bilgi-bankasi\/update-your-robots-txt-file\/\">c\u00f3mo enviar un archivo robots.txt actualizado<\/a>.\n<\/p>\n","protected":false},"excerpt":{"rendered":"<p>El archivo robots.txt se encuentra en la ra\u00edz de tu sitio. Aprende a crear un archivo robots.txt, consulta ejemplos y explora las reglas de robots.txt.<\/p>\n","protected":false},"menu_order":7000,"template":"","meta":{"footnotes":""},"ar_kb_kategori":[708],"ar_kb_etiket":[],"class_list":["post-25672","ar_kb","type-ar_kb","status-publish","has-post-thumbnail","hentry","ar_kb_kategori-crawling-infrastructure-crawling-and-indexing"],"_links":{"self":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25672","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb"}],"about":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/types\/ar_kb"}],"version-history":[{"count":1,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25672\/revisions"}],"predecessor-version":[{"id":25693,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25672\/revisions\/25693"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media\/27667"}],"wp:attachment":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media?parent=25672"}],"wp:term":[{"taxonomy":"ar_kb_kategori","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_kategori?post=25672"},{"taxonomy":"ar_kb_etiket","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_etiket?post=25672"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}