Dentro de Googlebot: desmitificando el rastreo, la recuperación y los bytes que procesamos

Martes, 31 de marzo de 2026

Si sintonizaste
el episodio 105 del pódcast Search Off the Record,
es posible que nos hayas escuchado profundizar en un tema muy cercano a nuestros corazones
(y a nuestros servidores): el funcionamiento interno de Googlebot.

Durante mucho tiempo, el nombre “Googlebot” ha evocado la imagen de un único y
tireto robot que lee sistemáticamente internet. Pero la realidad es un poco
más compleja, y mucho más interesante. Hoy queremos echar un vistazo bajo
el capó de nuestra infraestructura de rastreo, con especial atención a lo que
hace que nos estalle la cabeza: los límites de tamaño en bytes.

Primero, Googlebot no es un único programa

Clarifiquemos primero un error histórico. A principios de la década de 2000, Google
tenía un solo producto, por lo que teníamos un solo rastreador. El nombre “Googlebot” se quedó.
Pero hoy en día, Googlebot es simplemente un usuario de algo que se parece a una
plataforma de rastreo centralizada.

Cuando ves a Googlebot en los registros de tu servidor, solo estás viendo a Google
Search. Decenas de otros clientes —como Google Shopping, AdSense y
más— enrutan sus solicitudes de rastreo a través de esta misma infraestructura
subyacente con diferentes nombres de rastreador, cuyos principales se documentan en el
sitio de infraestructura de Google Crawler.

El límite de 2MB: ¿qué pasa con tus bytes?

Aquí es donde las cosas se ponen un poco confusas. Cada cliente de la infraestructura
de rastreo necesita configurar algunos ajustes para sus recuperaciones.
Estos ajustes incluyen la cadena de agente de usuario, qué tokens de agente de usuario buscarán en
robots.txt y cuántos bytes recuperarán de una sola URL.

Googlebot recupera actualmente hasta 2MB para cualquier URL individual (excluyendo
PDFs). Esto significa que solo rastrea los primeros 2MB de un recurso, incluida la
cabecera HTTP. Para los archivos PDF, el límite es de 64MB.

Los rastreadores de imágenes y vídeos suelen tener un amplio rango de valores umbral,
y depende en gran medida del producto para el que estén recuperando. Por
ejemplo, recuperar un favicon puede tener un límite muy bajo, a diferencia de la Búsqueda de imágenes.

Para cualquier otro rastreador que no especifique un límite, el valor predeterminado es 15MB,
independientemente del tipo de contenido.

¿Qué significa esto para los bytes que tu servidor envía a través de la red?

1. Recuperación parcial: Si tu archivo HTML es mayor de 2MB,
   Googlebot no rechaza la página. En su lugar, detiene la recuperación exactamente en
   el corte de los 2MB. Ten en cuenta que el límite incluye las cabeceras de solicitud HTTP.
2. Procesamiento del corte: Esa porción descargada (los primeros
   2MB de bytes) se pasa a nuestros sistemas de indexación y al Servicio de
   Renderizado Web (WRS) como si fuera el archivo completo.
3. Los bytes no vistos: Cualquier byte que exista
   después
   de
   ese umbral de 2MB se ignora por completo. No se recupera, no se renderiza y no se indexa. Incorporación de recursos: Cada recurso referenciado en el
   HTML (excluyendo multimedia, fuentes y algunos archivos exóticos) será recuperado por
   el WRS con Googlebot como el HTML principal. Tienen su propio contador de bytes
   independiente por URL y no cuentan para el tamaño de la página principal.
4. Para la gran mayoría de la web, una carga útil HTML de 2MB es masiva y nunca
   llegarás a este límite. Sin embargo, si tu página incluye imágenes base64 en línea pesadas,
   bloques masivos de CSS/JavaScript en línea o comienza con
   megabytes de menús, podrías empujar accidentalmente tu contenido de texto real
   o tus datos estructurados críticos más allá de la marca de los 2MB. Si esos bytes cruciales no se recuperan, para Googlebot simplemente no existen. Renderizando los bytes

Una vez que el rastreador ha recuperado con éxito los bytes (hasta el límite),
pasa el testigo al WRS. El WRS procesa JavaScript y ejecuta
código del lado del cliente de manera similar a un navegador moderno para comprender el estado visual y textual
final de la página. El renderizado extrae y ejecuta archivos de JavaScript y
CSS, y procesa solicitudes XHR para comprender mejor el contenido textual
y la estructura de la página (no solicita imágenes ni vídeos). Para cada
recurso solicitado, también se aplica el límite de 2MB.

Sin embargo, recuerda que el WRS solo puede ejecutar el código que el rastreador
realmente recuperó. Además, el
WRS opera sin estado (stateless)
— borra el almacenamiento local y los datos de sesión entre solicitudes. Esto puede
tener implicaciones particulares sobre cómo nuestros sistemas interpretan los elementos
dinámicos dependientes de JavaScript.

Buenas prácticas para tus bytes

Para garantizar que Googlebot pueda recuperar y comprender tu contenido de manera eficiente,
ten en cuenta estas buenas prácticas a nivel de bytes:
Mantén tu HTML ligero:
Mueve el CSS y el JavaScript pesados a
archivos externos. Aunque el documento HTML inicial tiene un tope de 2MB, los scripts externos
y las hojas de estilo se recuperan por separado (sujetos a sus propios límites).

El orden importa:

Coloca tus elementos más críticos —
como metaetiquetas,

• <title> elementos,
• <link> elementos, canonicals y datos estructurados esenciales— más arriba en el documento HTML. Esto garantiza que sea poco probable que se encuentren por debajo del corte. Supervisa los registros de tu servidor: Mantén un ojo en los tiempos de respuesta
  de tu servidor. Si tu servidor tiene dificultades para servir bytes, nuestros rastreadores
  se retirarán automáticamente para evitar sobrecargar tu infraestructura,
  lo que reducirá tu frecuencia de rastreo.
  Ten en cuenta que este límite no está escrito en piedra y puede cambiar
  con el tiempo a medida que la web evoluciona y las páginas HTML crecen en tamaño. (O se reducen.
  Esperemos que se reduzcan.)
• El rastreo no es magia; es un intercambio de bytes altamente orquestado y escalado.
  Al comprender cómo nuestra infraestructura de recuperación central recupera y limita
  esos bytes, puedes asegurarte de que el contenido más importante de tu sitio
  siempre pase el corte. ¡Feliz optimización!

¿Quieres escuchar más detalles entre bambalinas? ¡Echa un vistazo al episodio 105 del pódcast Search Off the Record en YouTube

o dondequiera que escuches tus pódcasts!

Publicado por

Gary
Inside Googlebot: demystifying crawling, fetching, and the bytes we process | Alien Road
If you tuned into episode 105 of the Search Off the Record podcast, you might have heard us diving deep into a topic that is close to our hearts (and our…

Nueva ubicación para los archivos de rangos de IP de los rastreadores de Google
Martes, 31 de marzo de 2026.