Cosas que debes saber sobre el rastreo web de Google

Google ha estado rastreando la web abierta
durante más de 30 años, y regularmente nos hacen preguntas sobre cómo funcionan nuestros rastreadores web. Para responder a algunas de ellas, aquí hay algunos datos sobre los rastreadores de Google y cómo nos ayudan a organizar la información del mundo, conectando a las personas con contenido de toda la web.

¿Qué es el rastreo? En resumen, el rastreo es la forma en que Google “ve” la web

El rastreo es el proceso de usar software automatizado para descubrir nuevas páginas web y entenderlas. De esa manera, cuando acudes a Google para encontrar una página web, sabemos que existe y podemos incluirla en tus resultados de búsqueda. Todos los motores de búsqueda dependen del rastreo para saber qué páginas e información puede haber por ahí. Puedes ver nuestro video sobre cómo la Búsqueda de Google rastrea páginas
para obtener más información.

Tenemos muchos rastreadores; cada uno tiene trabajos importantes

Googlebot es nuestro rastreador más conocido y se utiliza para mantener frescos y actualizados los resultados en la Búsqueda de Google. También tenemos rastreadores específicos para nuestras otras superficies, como Google Imágenes y Google Shopping. Ofrecemos documentación completa
de nuestros rastreadores más utilizados y para qué sirven. Nuestros rastreadores utilizan nombres de user-agent fácilmente identificables y direcciones de internet conocidas. De esta manera, los propietarios de sitios pueden estar seguros de que los rastreadores de Google que ven son legítimos.

Realizamos rastreos repetidos para encontrar las últimas actualizaciones y ofrecer los resultados de búsqueda más frescos

Para capturar artículos de noticias de última hora, podemos volver a rastrear las páginas de inicio de noticias cada pocos minutos. En otros casos, es posible que hayamos visto que nada ha cambiado durante años, por lo que podríamos esperar un mes para volver a rastrear. Los propietarios de sitios pueden influir en la frecuencia con la que se produce el nuevo rastreo utilizando sitemap
archivos que nos informan sobre páginas nuevas y actualizadas.

¡El rastreo frecuente es una buena señal!

Si rastreamos mucho tu sitio, es una indicación de que tus páginas tienen contenido nuevo o altamente relevante que la gente quiere encontrar, y que nuestros sistemas están reconociendo esa demanda. Las compras en línea son un gran ejemplo: rastreamos sitios de comercio electrónico a menudo para que nuestros resultados muestren los precios, promociones y estado de inventario más actualizados de los minoristas.

El rastreo de Google ha crecido con el tiempo a medida que las páginas se han vuelto más complejas

Otra razón por la que volvemos a rastrear con frecuencia es para comprender plenamente la riqueza de una página web y lo que ofrece. Nuestros rastreadores utilizan una técnica llamada renderizado, que carga un sitio por completo para “ver” una página tal como lo haría una persona real. Con los años, las páginas web se han vuelto más sofisticadas;
la página móvil promedio
ha crecido en tamaño de 816 kilobytes a 2.3 megabytes,
y ahora tiene más de 60 archivos diferentes
para cargar, desde imágenes hasta componentes interactivos. Así que para obtener una instantánea representativa de una página web en todo su esplendor, es posible que necesitemos rastrear la misma página varias veces, o más, a medida que se agregan nuevos elementos todo el tiempo.

Optimizamos el rastreo automáticamente

Nuestros rastreadores están diseñados para la eficiencia y se ajustan para minimizar el impacto en los propietarios de sitios. Por ejemplo, cuando un sitio se vuelve lento o devuelve errores, nuestro
ritmo de rastreo cambia automáticamente
para evitar la sobrecarga de los servidores del sitio. Intentamos limitar el rastreo innecesario almacenando en caché el contenido rastreador. Y a medida que nuestros rastreadores descubren más de un sitio web, también pueden reconocer secciones que se pueden cubrir con menos rastreo; por ejemplo, los calendarios que van hasta el año 9999 probablemente no necesiten ser rastreados en su totalidad. Los propietarios de sitios pueden ayudar identificando
qué contenido no necesita ser rastreado, lo que ahorra dinero a los sitios web al reducir sus costos de infraestructura y hace que internet sea más eficiente en su conjunto.

Los rastreadores de Google nunca entran en muros de pago o contenido de suscripción sin permiso

Por defecto, si una página no es accesible en la web abierta —por ejemplo, si el contenido está detrás de una página de inicio de sesión— nuestros rastreadores tampoco pueden acceder a ella. Tenemos
orientación específica para los propietarios de sitios si quieren dar a Google permiso explícito para acceder a páginas de suscripción (por ejemplo, para que Google pueda remitir a los usuarios a ese contenido). Si decides proporcionar acceso de suscripción a nuestros rastreadores, puedes
usar datos estructurados
para seguir mostrando a los visitantes humanos una pantalla de inicio de sesión sin activar nuestras
reglas de spam,. Y puedes evitar que el contenido de suscripción aparezca en las vistas previas de página aprovechando los
controles de vista previa.

Los propietarios de sitios tienen el control sobre lo que se rastrea y cómo

Respetamos los estándares web abiertos como robots.txt,
un archivo de texto simple que permite a los propietarios de sitios declarar cómo los rastreadores como el nuestro deben interactuar con sus páginas. Robots.txt, junto con etiquetas meta robots, permite a los sitios web comunicar fácilmente a Google y otros servicios cómo acceder a su contenido. Pueden bloquear páginas para que no aparezcan en la Búsqueda. Pueden informarnos sobre contenido nuevo que desean que se rastee usando sitemaps. Y
pueden gestionar la frecuencia con la que rastreamos sus sitios a través de su
presupuesto de rastreo.

Nuestros rastreadores estándar
siempre respetan las elecciones de los sitios web sobre cómo se accede y utiliza su contenido.

Después de un rastreo, podemos usar los datos rastreados varias veces para reducir la necesidad de solicitudes repetidas innecesarias en los sitios. Incluso cuando reutilizamos estos datos, seguimos respetando las elecciones que los sitios hacen a través de robots.txt y los controles que ofrecemos a través de ese protocolo web abierto. Por ejemplo, los sitios pueden usar Google-Extended
en robots.txt para controlar, entre otras cosas, si su contenido ayuda a entrenar futuras versiones de los modelos Gemini. El uso de Google-Extended no afecta la inclusión de un sitio en la Búsqueda, ni utilizamos Google-Extended como una señal de clasificación en la Búsqueda.

Ofrecemos muchas herramientas para que los propietarios de sitios gestionen su experiencia de rastreo en Google, incluyendo
Google Search Console,
que está disponible sin costo para los propietarios de sitios. Proporciona información sobre
cuánto hemos rastreado y por qué.
También ayuda a los sitios a diagnosticar problemas como el tiempo de inactividad del servidor o problemas de velocidad. Además, Search Console proporciona información exhaustiva sobre cómo son visibles las páginas de un sitio en la Búsqueda y cómo los usuarios interactúan con ellas.

Nuestros rastreadores ayudan a conectar a las personas con lo mejor de la web, y siempre estamos buscando formas de hacerlos más capaces y eficientes.