Todo sobre Googlebot

Sábado, 19 de agosto de 2006

Últimamente he visto muchas preguntas sobre los archivos robots.txt y el comportamiento de Googlebot. La semana pasada en SES, hablé en un nuevo panel llamado
el curso de obediencia de bots. Y hace unos días, otros Googlers y yo respondimos preguntas en los
foros de WebmasterWorld. Aquí tienes algunas de las preguntas que recibimos:

Si mi sitio está en mantenimiento, ¿cómo puedo decirle a Googlebot que regrese más tarde en lugar de indexar la página “en mantenimiento”?
Debes configurar tu servidor para que devuelva un
estado de
503 (red no disponible) en lugar de 200 (exitoso). Eso le permite a Googlebot saber que debe intentar acceder a las páginas nuevamente más tarde.

¿Qué debo hacer si Googlebot rastrea demasiado mi sitio? Puedes
ponerte en contacto con nosotros
—trabajaremos contigo para asegurarnos de no saturar el ancho de banda de tu servidor. Estamos experimentando con una función en nuestras Herramientas para webmasters para que puedas dar tu opinión sobre tu frecuencia de rastreo, y hemos recibido excelentes comentarios hasta ahora, por lo que esperamos ofrecerla a todos pronto.

¿Es mejor utilizar la etiqueta meta robots o un archivo robots.txt? Googlebot obedece a cualquiera de los dos, pero las
meta etiquetas

se aplican solo a páginas individuales. Si tienes varias páginas que deseas excluir del rastreo, puedes estructurar tu sitio de manera que puedas usar fácilmente un archivo robots.txt para bloquear esas páginas (por ejemplo, colocar las páginas en un solo directorio).
Si mi archivo robots.txt contiene una regla para todos los bots y también una regla específica para Googlebot, ¿cómo interpreta Googlebot la línea dirigida a todos los bots?

Si tu archivo robots.txt contiene una regla global más una regla específica para Googlebot, Googlebot obedece las líneas dirigidas específicamente a él. Por ejemplo, para este archivo robots.txt:

Googlebot rastreará todo en el sitio excepto las páginas del directorio cgi-bin.

Para este archivo robots.txt:

Googlebot no rastreará ninguna página del sitio.
Si no estás seguro de cómo Googlebot interpretará tu archivo robots.txt, puedes utilizar nuestra
herramienta de análisis de robots.txt

para probarlo. También puedes probar cómo Googlebot interpretará los cambios en el archivo. Para obtener información completa sobre cómo Googlebot y los demás agentes de usuario de Google tratan los archivos robots.txt, consulta nuestro.