Cómo usar robots.txt

Sábado, 1 de marzo de 2008

A robots.txt
establece restricciones para los robots de los motores de búsqueda (conocidos como “bots”) que rastrean la web. Estos bots están automatizados y, antes de acceder a las páginas de un sitio, comprueban si existe un archivo robots.txt que les impida acceder a determinadas páginas. Si deseas proteger parte de tu contenido para que los motores de búsqueda no lo indexen, robots.txt es una herramienta sencilla para ello. En esta ocasión, nos gustaría hablar sobre cómo utilizarlo.

Colocación de Robots.txt

El archivo robots.txt es un archivo de texto con uno o más registros. El archivo robots.txt debe residir en la raíz del dominio y debe llamarse exactamente robots.txt. Un archivo robots.txt ubicado en un subdirectorio no es válido, ya que los bots solo buscan este archivo en la raíz del dominio.

Por ejemplo,
https://www.example.com/robots.txt es una ubicación válida. Pero,
https://www.example.com/mysite/robots.txt no lo es.

Ejemplo de un archivo robots.txt:

Bloquea o elimina todo tu sitio web utilizando un archivo robots.txt

Para eliminar tu sitio de los motores de búsqueda y evitar que todos los robots lo rastreen en el futuro, coloca el siguiente archivo robots.txt en la raíz de tu servidor:

Para eliminar tu sitio únicamente de Google y evitar que solo Googlebot lo rastree en el futuro, coloca el siguiente archivo robots.txt en la raíz de tu servidor:

Cada puerto debe tener su propio archivo robots.txt. En particular, si ofreces contenido a través de http y https, necesitarás un archivo robots.txt independiente para cada uno de estos protocolos. Por ejemplo, para permitir que Googlebot indexe todas las páginas http pero ninguna página https, utilizarías los archivos robots.txt que se muestran a continuación.

Para tu protocolo http (https://example.com/robots.txt):

Para el protocolo https (https://yourserver.com/robots.txt):

Permitir acceso completo a todos los robots

(solución alternativa: simplemente crea un archivo “/robots.txt” vacío o no utilices ninguno).

Bloquear o eliminar páginas utilizando un archivo robots.txt

Puedes usar un archivo robots.txt para evitar que Googlebot rastree páginas de tu sitio.

Por ejemplo, si estás creando manualmente un archivo robots.txt para evitar que Googlebot rastree todas las páginas bajo un directorio en particular (por ejemplo, private), utilizarías la siguiente entrada de robots.txt:

Para evitar que Googlebot rastree todos los archivos de un tipo de archivo específico (por ejemplo, .gif), utilizarías la siguiente entrada de robots.txt:

Para evitar que Googlebot rastree cualquier URL que incluya ? (más específicamente, cualquier URL que comience con tu nombre de dominio, seguido de cualquier cadena, seguido de un signo de interrogación, seguido de cualquier cadena):

Aunque no rastrearemos ni indexaremos el contenido de las páginas bloqueadas por robots.txt, es posible que sigamos rastreando e indexando las URL si las encontramos en otras páginas de la web. Como resultado, la URL de la página u otra información disponible públicamente, como el texto de anclaje en los enlaces al sitio, puede aparecer en los resultados de búsqueda de Google. Sin embargo, no se rastreará, indexará ni mostrará ningún contenido de tus páginas.

Como parte de las herramientas para webmasters, Google ofrece
herramienta de análisis de robots.txt. La herramienta lee el archivo robots.txt de la misma manera que lo hace Googlebot y te ofrece resultados para los user-agents de Google. Te sugerimos encarecidamente que la utilices. Antes de crear un robots.txt, debes pensar en cuánta información deseas compartir con las personas o mantener en privado. Recuerda que un motor de búsqueda es una buena manera de hacer que tu contenido sea más accesible públicamente. Al usar robots.txt correctamente, las personas estarán encantadas de visitar tu sitio web a través del motor de búsqueda, mientras que, al mismo tiempo, puedes evitar que tu información privada quede expuesta.

Por Chao Ma, In Hyuk Seok