Cómo usar un archivo robots.txt

24 de febrero de 2006

Hace un par de semanas,
lanzamos una herramienta de análisis
de robots.txt. Esta herramienta le ofrece información sobre cómo
Googlebot
interpreta su archivo robots.txt. Puede leer más sobre el
estándar de exclusión de robots robots.txt, pero pensamos en responder algunas preguntas frecuentes aquí.

¿Qué es un archivo robots.txt?

Un archivo robots.txt proporciona restricciones a los robots de los motores de búsqueda (conocidos como “bots”) que rastrean la web. Estos bots están automatizados y, antes de acceder a las páginas de un sitio, comprueban si existe un archivo robots.txt que les impida acceder a determinadas páginas.

¿Mi sitio necesita un archivo robots.txt?

Solo si su sitio incluye contenido que no desea que los motores de búsqueda indexen. Si desea que los motores de búsqueda indexen todo su sitio, no necesita un archivo robots.txt (ni siquiera uno vacío).

¿Dónde debe ubicarse el archivo robots.txt?

El archivo robots.txt debe ubicarse en la raíz del dominio. Un archivo robots.txt ubicado en un subdirectorio no es válido, ya que los bots solo buscan este archivo en la raíz del dominio. Por ejemplo, https://www.example.com/robots.txt es una ubicación válida. Pero,
https://www.example.com/mysite/robots.txt no lo es. Si no tiene acceso a la raíz de un dominio, puede restringir el acceso utilizando la
etiqueta META robots.

¿Cómo creo un archivo robots.txt?

Puede crear este archivo en cualquier editor de texto. Debe ser un
archivo de texto codificado en ASCII, no un archivo HTML. El nombre del archivo debe estar en minúsculas.

¿Cuál debe ser la sintaxis de mi archivo robots.txt?

El archivo robots.txt más simple utiliza dos reglas:

• User-Agent: el robot al que se aplica la siguiente regla
• Disallow: las páginas que desea bloquear

Estas dos líneas se consideran una sola entrada en el archivo. Puede incluir tantas entradas como desee. Puede incluir varias líneas Disallow en una entrada.

User-Agent

Un user-agent es un robot de motor de búsqueda específico.
Base de datos de robots web
enumera muchos bots comunes. Puede configurar una entrada para que se aplique a un bot específico (enumerando el nombre) o puede configurarla para que se aplique a todos los bots (enumerando un asterisco). Una entrada que se aplica a todos los bots se ve así:

Disallow

La Disallow línea enumera las páginas que desea bloquear. Puede enumerar una URL específica o un patrón. La entrada debe comenzar con una barra diagonal (/).

• Para bloquear todo el sitio, use una barra diagonal: Disallow: /
• Para bloquear un directorio, coloque una barra diagonal después del nombre del directorio:
  Disallow: /private_directory/
• Para bloquear una página, enumere la página:
  Disallow: /private_file.html

Las URL distinguen entre mayúsculas y minúsculas. Por ejemplo, Disallow: /private_file.html bloquearía
https://www.example.com/private_file.html, pero permitiría
https://www.example.com/Private_File.html.

¿Cómo bloqueo a Googlebot?

Google utiliza varios user-agents. Puede bloquear el acceso a cualquiera de ellos incluyendo el nombre del bot en la línea User-Agent de una entrada.

• Googlebot: rastrea páginas de nuestro
  índice web.
• Googlebot-Mobile: rastrea páginas para nuestro
  índice móvil.
• Googlebot-Image: rastrea páginas para nuestro
  índice de imágenes.
• Mediapartners-Google: rastrea páginas para determinar
  contenido de AdSense
  (se usa solo si muestra anuncios de AdSense en su sitio).

¿Puedo permitir páginas?

Sí, Googlebot reconoce una extensión del estándar robots.txt llamada Allow. Es posible que esta extensión no sea reconocida por todos los demás bots de los motores de búsqueda, así que consulte con otros motores de búsqueda que le interesen para averiguarlo. Allow La línea funciona exactamente como la
Disallow línea. Simplemente enumere un directorio o página que desee permitir.

Es posible que desee utilizar Disallow y Allow juntos. Por ejemplo, para bloquear el acceso a todas las páginas de un subdirectorio excepto a una, puede utilizar las siguientes entradas:

Esas entradas bloquearían todas las páginas dentro del directorio folder1 excepto
myfile.html.

¿No quiero que se indexen ciertas páginas de mi sitio, pero quiero mostrar anuncios de AdSense en esas páginas. ¿Puedo hacerlo?

Sí, puedes Disallow todos los bots excepto Mediapartners-Google de esas páginas. Esto evita que las páginas sean indexadas, pero permite que el bot
Googlebot-MediaPartners analice las páginas para determinar los anuncios que se mostrarán.
Googlebot-MediaPartners el bot no comparte páginas con los otros agentes de usuario de Google. Por ejemplo, podría utilizar las siguientes entradas:

¿No quiero listar cada archivo que quiero bloquear. ¿Puedo usar coincidencia de patrones?

Sí, Googlebot interpreta algunas coincidencias de patrones. Esta es una extensión del estándar, por lo que es posible que no todos los bots la sigan.

Coincidencia de una secuencia de caracteres

Puede usar un asterisco (*) para hacer coincidir una secuencia de caracteres. Por ejemplo, para bloquear el acceso a todos los subdirectorios que comienzan con private, podría usar la siguiente entrada:

¿Cómo puedo asegurarme de que mis bloqueos y permisos de archivos hacen lo que quiero?

Puede usar nuestra
herramienta de análisis de robots.txt para:

• Verificar URLs específicas para ver si su archivo robots.txt las permite o las bloquea.
• Ver si Googlebot tuvo problemas para analizar alguna línea en su archivo robots.txt.
• Probar cambios en su archivo robots.txt.

Además, si actualmente no utiliza un archivo robots.txt, puede crear uno y luego probarlo con la herramienta antes de subirlo a su sitio.

¿Si cambio mi archivo robots.txt o subo uno nuevo, cuánto tardará en surtir efecto?

Generalmente descargamos los archivos robots.txt aproximadamente una vez al día. Puede ver la última vez que descargamos su archivo accediendo a la pestaña robots.txt en su cuenta de Sitemaps y verificando la
Última descarga fecha y hora.

Publicado por Vanessa Fox