Googlebot

Googlebot es el nombre genérico para dos tipos de
rastreadores web utilizados por la Búsqueda de Google:

• Googlebot Smartphone:
  un rastreador móvil que simula a un usuario en un dispositivo móvil.
• Googlebot Desktop:
  un rastreador de escritorio que simula a un usuario en un ordenador de escritorio.

Puede identificar el subtipo de Googlebot mirando el
HTTP user-agent encabezado de solicitud
en la solicitud. Sin embargo, ambos tipos de rastreadores obedecen al mismo token de producto (token de agente de usuario) en robots.txt, por lo que no puede orientar selectivamente a Googlebot Smartphone o Googlebot Desktop usando robots.txt.

Para la mayoría de los sitios, la Búsqueda de Google indexa principalmente
la versión móvil
del contenido. Por lo tanto, la mayoría de las solicitudes de rastreo de Googlebot se realizarán utilizando el rastreador móvil y una minoría utilizando el rastreador de escritorio.

Cómo accede Googlebot a su sitio

Para la mayoría de los sitios, Googlebot no debería acceder a su sitio más de una vez cada pocos segundos en promedio. Sin embargo, debido a retrasos, es posible que la tasa parezca ser ligeramente mayor durante períodos cortos. Si su sitio tiene problemas para seguir el ritmo de las solicitudes de rastreo de Google, puede reducir la tasa de rastreo.

Al rastrear para la Búsqueda de Google, Googlebot rastrea los primeros 2 MB de un
tipo de archivo compatibley los primeros 64 MB de un archivo PDF. Desde una perspectiva de renderizado, cada recurso referenciado en el HTML (como CSS y JavaScript) se obtiene por separado, y cada obtención de recurso está sujeta al mismo límite de tamaño de archivo que se aplica a otros archivos (excepto archivos PDF).
Una vez que se alcanza el límite de corte, Googlebot detiene la obtención y solo envía la parte del archivo ya descargada para su consideración de indexación. El límite de tamaño de archivo se aplica a los datos sin comprimir. Otros rastreadores de Google, por ejemplo, Googlebot Video y Googlebot Image, pueden tener
límites diferentes.

Al rastrear desde direcciones IP en los EE. UU., la zona horaria de Googlebot es
hora del Pacífico.

Otras
propiedades técnicas de Googlebot
se describen en la descripción general de los rastreadores de Google.

Bloquear a Googlebot para que no visite su sitio

Googlebot descubre nuevas URL para rastrear principalmente a partir de enlaces incrustados en páginas rastreadas anteriormente. Es casi imposible mantener un sitio secreto al no publicar enlaces hacia él. Por ejemplo, tan pronto como alguien hace clic en un enlace desde su sitio “secreto” a otro sitio, la URL de su sitio “secreto” puede aparecer en la etiqueta de referencia y puede ser almacenada y publicada por el otro sitio en su registro de referencia.

Si desea evitar que Googlebot rastree contenido en su sitio, tiene una
serie de opciones. Recuerde que hay una diferencia entre rastreo e indexación; bloquear a Googlebot para que no rastree una página no impide que la URL de la página aparezca en los resultados de búsqueda:

• ¿Evitar que Googlebot rastree una página? Use un archivo robots.txt
  ¿No quiere que Google indexe una página?.
• Use noindex
  ¿Evitar que una página sea accesible tanto para rastreadores como para usuarios?.
• Use otro método, como protección con contraseña
  Bloquear a Googlebot afecta a la Búsqueda de Google (incluyendo Discover y todas las funciones de la Búsqueda de Google), así como a otros productos como Google Imágenes, Google Video y Google Noticias..

Verificar a Googlebot

Antes de decidir bloquear a Googlebot, tenga en cuenta que el encabezado de solicitud HTTP

user-agent utilizado por Googlebot a menudo es suplantado por otros rastreadores. Es importante verificar que una solicitud problemática provenga realmente de Google. La mejor manera de verificar que una solicitud provenga realmente de Googlebot es usar una búsqueda de DNS inverso
en la IP de origen de la solicitud, o hacer coincidir la IP de origen con los
rangos de IP de Googlebot
Googlebot | Alien Road.