Descripción general de los rastreadores y fetchers de Google (agentes de usuario)

Google utiliza rastreadores y fetchers para realizar acciones para sus productos, ya sea automáticamente o activados por una solicitud del usuario. Rastreador (a veces también llamado “robot” o “araña”) es un término genérico para cualquier programa que se utiliza para
descubrir y escanear sitios web automáticamente. Los fetchers actúan como un programa como
wget que normalmente realizan una única solicitud en nombre de un usuario. Los clientes de Google se dividen en tres categorías:

Propiedades técnicas de los rastreadores y fetchers de Google

Los rastreadores y fetchers de Google están diseñados para ser ejecutados simultáneamente por miles de máquinas para mejorar el rendimiento y escalar a medida que crece la web. Para optimizar el uso del ancho de banda, estos clientes se distribuyen en muchos centros de datos en todo el mundo para que estén ubicados cerca de los sitios a los que podrían acceder. Por lo tanto, sus registros pueden mostrar visitas desde varias direcciones IP. Google sale principalmente de direcciones IP en los Estados Unidos. En caso de que Google detecte que un sitio está bloqueando solicitudes de los Estados Unidos, puede intentar rastrear desde direcciones IP ubicadas en otros países.

Protocolos de transferencia compatibles

Los rastreadores y fetchers de Google admiten HTTP/1.1 y
HTTP/2. Los rastreadores utilizarán la versión del protocolo que proporcione el mejor rendimiento de rastreo y pueden cambiar de protocolo entre sesiones de rastreo según las estadísticas de rastreo anteriores. La versión de protocolo predeterminada utilizada por los rastreadores de Google es HTTP/1.1; el rastreo a través de HTTP/2 puede ahorrar recursos informáticos (por ejemplo, CPU, RAM) para su sitio y Googlebot, pero por lo demás no hay ningún beneficio específico del producto de Google para el sitio (por ejemplo, ningún aumento de clasificación en la Búsqueda de Google). Para optar por no rastrear a través de HTTP/2, indique al servidor que aloja su sitio que responda con un 421 código de estado HTTP
cuando Google intente acceder a su sitio a través de HTTP/2. Si eso no es factible, puede
enviar un mensaje al equipo de rastreo

(sin embargo, esta solución es temporal).
La infraestructura de rastreo de Google también admite el rastreo a través de FTP (como se define en RFC959
y sus actualizaciones) y FTPS (como se define en RFC4217

y sus actualizaciones), sin embargo, el rastreo a través de estos protocolos es raro.

Codificaciones de contenido compatibles
Los rastreadores y fetchers de Google admiten las siguientes codificaciones de contenido (compresiones):,
gzipdeflate
, yBrotli (br)
. Las codificaciones de contenido admitidas por cada agente de usuario de Google se anuncian en el encabezado Accept-Encoding
de cada solicitud que realizan. Por ejemplo,.

Accept-Encoding: gzip, deflate, br

Límites de tamaño de archivo
De forma predeterminada, los rastreadores y fetchers de Google solo rastrean los primeros 15 MB de un archivo, y cualquier contenido más allá de este límite se ignora. Sin embargo, los proyectos individuales pueden establecer límites diferentes para sus rastreadores y fetchers, y también para diferentes tipos de archivos. Por ejemplo, un rastreador de Google como Googlebot

puede tener un límite de tamaño más pequeño (por ejemplo, 2 MB), o especificar un límite de tamaño de archivo mayor para un PDF que para HTML.

Tasa de rastreo y carga del host
Nuestro objetivo es rastrear tantas páginas de su sitio como podamos en cada visita sin abrumar a su servidor. Si su sitio tiene problemas para mantenerse al día con las solicitudes de rastreo de Google, puedereducir la tasa de rastreo
. Tenga en cuenta que enviar el
código de respuesta HTTP

inapropiado a los rastreadores de Google puede afectar cómo aparece su sitio en los productos de Google.

Almacenamiento en caché HTTP
La infraestructura de rastreo de Google admite el almacenamiento en caché HTTP heurístico como se define en elestándar de almacenamiento en caché HTTP , específicamente a través del encabezado de respuesta ETag y de solicitud If-None-Match , y el encabezado de respuesta Last-Modified y de solicitud If-Modified-Since

independientemente de la preferencia de los rastreadores de Google. Estos encabezados también son utilizados por otras aplicaciones como CMS. Si ambos campos de encabezado de respuesta ETag y Last-Modified están presentes en la respuesta HTTP, los rastreadores de Google utilizan el ETag valor como
requerido por el estándar HTTP. Específicamente para los rastreadores de Google, recomendamos usar
ETag
en lugar del encabezado Last-Modified para indicar la preferencia de almacenamiento en caché, ya que
ETag no tiene problemas de formato de fecha.

Otras directivas de almacenamiento en caché HTTP no son compatibles.

Los rastreadores y fetchers individuales de Google pueden o no hacer uso del almacenamiento en caché, dependiendo de las necesidades del producto con el que estén asociados. Por ejemplo, Googlebot admite el almacenamiento en caché al volver a rastrear URLs para la Búsqueda de Google, y Storebot-Google solo admite el almacenamiento en caché en ciertas condiciones.

Para implementar el almacenamiento en caché HTTP para su sitio, póngase en contacto con su proveedor de alojamiento o sistema de gestión de contenidos.

ETag y If-None-Match

La infraestructura de rastreo de Google admite ETag y If-None-Match según lo definido por el
HTTP Caching standard. Obtenga más información sobre el encabezado de respuesta
ETag
y su contraparte de encabezado de solicitud,
If-None-Match.

Last-Modified y If-Modified-Since

La infraestructura de rastreo de Google admite Last-Modified y
If-Modified-Since según lo definido por el
HTTP Caching standard
con las siguientes advertencias:

• La fecha en el encabezado Last-Modified debe formatearse de acuerdo con el
  HTTP standard. Para evitar problemas de análisis, recomendamos usar el siguiente formato de fecha: “Día de la semana, DD Mon YYYY HH:MM:SSZona horaria”. Por ejemplo,“.
• ”
  Fri, 4 Sep 1998 19:15:56 GMT Aunque no es obligatorio, considere también configurar el campo max-age del encabezado de respuesta
  Cache-Control
  para ayudar a los rastreadores a determinar cuándo volver a rastrear la URL específica. Establezca el valor del campo max-age en el número esperado de segundos que el contenido permanecerá sin cambios. Por ejemplo,.

Cache-Control: max-age=94043
Obtenga más información sobre el encabezado de respuesta
Last-Modified y su contraparte de encabezado de solicitud,.

If-Modified-Since

Verifique los rastreadores y fetchers de Google

1. Los rastreadores de Google se identifican de tres maneras: El encabezado de solicitud HTTP user-agent
2. .
3. La dirección IP de origen de la solicitud.

El nombre de host DNS inverso de la IP de origen. Aprenda a usar estos detalles para verificar los rastreadores y fetchers de Google. Descripción general de los rastreadores y fetchers de Google (agentes de usuario) | Alien Road. Comprenda las propiedades técnicas de los rastreadores y fetchers de Google, incluidos los protocolos de transferencia admitidos, el almacenamiento en caché y los límites de tamaño de archivo.
fr.