Hablando el idioma de los robots

Jueves, 27 de marzo de 2008

Todos sabemos
lo amigable que es Googlebot.
Y como todos los robots benevolentes, Googlebot nos escucha y respeta nuestros deseos sobre partes de
nuestro sitio que no queremos que sean rastreadas. Simplemente podemos darle a Googlebot un archivo robots.txt explicando lo
que queremos, y él cumplirá alegremente. Pero, ¿qué pasa si te intimida la idea de comunicarte
directamente con Googlebot? Después de todo, no todos dominamos el idioma de
robots.txt. Por eso
nos complace presentarle su traductor de robots personal: el Generador de Robots.txt en
Webmaster Tools.
Está diseñado para ofrecerle una forma fácil e interactiva de crear un archivo robots.txt. Puede ser tan
simple como introducir los archivos y directorios que no desea que sean rastreados por ningún robot.

O, si lo necesita, puede crear reglas detalladas para robots específicos y áreas de su sitio.

Una vez que termine con el generador, puede probar los efectos de su nuevo archivo robots.txt con
nuestra
herramienta de análisis de robots.txt,
cuando termine, simplemente guarde el archivo generado en el directorio de nivel superior (raíz) de su sitio,
y estará listo. Hay un par de cosas importantes que debe tener en cuenta sobre los archivos robots.txt:

• No todos los motores de búsqueda admitirán todas las extensiones de los archivos robots.txt
  El Generador de Robots.txt crea archivos que Googlebot entenderá, y la mayoría de los otros robots principales
  también los entenderán. Pero es posible que algunos robots no entiendan todas
  las funciones de robots.txt que utiliza el generador.
• Robots.txt es simplemente una solicitud
  Aunque es muy poco probable por parte de un motor de búsqueda importante, hay algunos robots sin escrúpulos
  que pueden ignorar el contenido de robots.txt y rastrear las áreas bloqueadas de todos modos. Si tiene contenido
  sensible que necesita proteger por completo, debe colocarlo detrás de la protección con contraseña en lugar
  de confiar en robots.txt.

Esperamos que esta nueva herramienta le ayude a comunicar sus deseos a Googlebot y a otros robots que visitan
su sitio. Si desea obtener más información sobre los archivos robots.txt, consulte
nuestro Centro de Ayuda. Y si le gustaría hablar sobre
robots.txt y robots con otros webmasters, visite nuestro
Grupo de Ayuda para Webmasters de Google.

Escrito por Sean Harding, Equipo de Webmaster Tools