Optimice su presupuesto de rastreo

Esta guía describe cómo optimizar el rastreo de Google en sitios muy grandes y actualizados con frecuencia.

Si su sitio no tiene una gran cantidad de páginas que cambian rápidamente, o si sus páginas parecen ser rastreadas el mismo día que se publican, no necesita leer esta guía. Para la Búsqueda de Google específicamente,
mantener su sitemap actualizado y
revisar el informe de Indexación de páginas
regularmente es suficiente.

Para quién es esta guía

Aunque las recomendaciones de esta guía son generalmente buenas prácticas, esta es una guía avanzada destinada principalmente a los siguientes tipos de sitios:

• Sitios grandes (más de 1 millón de páginas únicas) con contenido que cambia con una frecuencia moderada (una vez por semana)
• Sitios medianos o más grandes (más de 10,000 páginas únicas) con contenido que cambia muy rápidamente (diariamente)
• Sitios con una gran parte de sus URL totales clasificadas por Search Console como
  Detectada: actualmente sin indexar

umbrales exactos.

Teoría general del rastreo
La web es un espacio casi infinito, que excede la capacidad de Google para explorar cada URL accesible públicamente. Como resultado, existen límites en la cantidad de tiempo y recursos que Google puede dedicar al rastreo de cualquier sitio individual. La asignación de estos recursos se denomina comúnmentepresupuesto de rastreo del sitio. En este contexto, la infraestructura de rastreo de Google define un sitio como un nombre de host único. Por ejemplo, https://www.example.com/
y https://code.example.com/ se tratan como sitios separados y tienen presupuestos de rastreo separados. El presupuesto de rastreo de un sitio está determinado por dos elementos principales: límite de capacidad de rastreo
y.

y evaluada para determinar su idoneidad para el índice.

Límite de capacidad de rastreo Google quiere rastrear su sitio sin sobrecargar sus servidores. Para evitar esto, los rastreadores de Google calculan un límite de capacidad de rastreo
(también conocido comohostload

). Esto limita la cantidad total de tiempo que su servidor pasa manteniendo conexiones abiertas para Google, teniendo en cuenta tanto el número de conexiones paralelas como su duración. Esto asegura que Google pueda cubrir todo su contenido importante sin sobrecargar sus servidores.

Cada sitio comienza con el mismo límite de capacidad de rastreo predeterminado y conservador. Si hay demanda para rastrear más y el sitio permanece saludable, los sistemas de Google ajustarán automáticamente este límite con el tiempo.

• El límite de capacidad de rastreo puede subir y bajar según algunos factores: Salud del rastreo:Si el sitio responde de manera consistente y sus tiempos de respuesta (incluida la latencia y el tiempo hasta el primer byte) se mantienen estables o mejoran, el límite sube, lo que significa que se pueden usar más conexiones para rastrear. Si el sitio se ralentiza (la latencia aumenta o los tiempos de respuesta se vuelven más largos), o responde con errores del servidor ( 5xx HTTP códigos de estado) o señales de limitación de velocidad (comoHTTP 429
• ), el límite baja y Google rastrea menos. Límites de rastreo de Google:

Aunque los recursos de Google son extensos, son finitos y debemos priorizar la asignación de recursos en toda la web.

Demanda de rastreo

Cada rastreador tiene su propia “demanda” cuando se trata de rastrear la web, determinada por factores únicos para ese rastreador. Por ejemplo, AdsBot generalmente tiene una demanda más alta cuando un sitio está ejecutando objetivos de anuncios dinámicos, y Google Shopping tiene una demanda más alta para los productos que tiene en sus feeds de comerciante. ParaGooglebot

• , la demanda varía según el tamaño de un sitio, la frecuencia de actualización, la calidad de la página y la relevancia, en comparación con otros sitios. Los factores principales que puede influir son: Inventario percibido:
• Sin su guía, Google intenta rastrear todas o la mayoría de las URL que conoce en su sitio. Si muchas de estas URL son duplicadas, o no desea que se rastreen por alguna otra razón (eliminadas, sin importancia, etc.), esto desperdicia mucho tiempo de rastreo de Google en su sitio. Este es el factor que puede controlar de manera más positiva. Popularidad:
• Las URL que son más populares en Internet tienden a rastrearse con más frecuencia para mantenerlas más frescas en nuestros sistemas. Antigüedad:

Nuestros sistemas quieren volver a rastrear los documentos con la frecuencia suficiente para detectar cualquier cambio.

se comparte entre todos los rastreadores. Esto significa que una alta demanda de un rastreador puede reducir la capacidad disponible para otros.

Resumen

Tomando la capacidad de rastreo y la demanda de rastreo juntas, Google define el presupuesto de rastreo de un sitio como el conjunto de URL que Google puede y quiere rastrear. Incluso si no se alcanza el límite de capacidad de rastreo, si la demanda de rastreo es baja, Google rastreará su sitio menos.

Mejores prácticas

• Para maximizar su eficiencia de rastreo, siga estas mejores prácticas: Administre su inventario de URL:
  • Utilice las herramientas adecuadas para decirle a Google qué páginas rastrear y cuáles no. Si Google dedica demasiado tiempo a rastrear URL que no debería, es posible que los rastreadores de Google no exploren el resto de su sitio o no aumenten su presupuesto de rastreo..
    Consolide el contenido duplicado
  • Elimine el contenido duplicado para centrar el rastreo en contenido único en lugar de URL únicas.Bloquee el rastreo de URL usando robots.txt
    . Algunas páginas pueden ser importantes para los usuarios, pero es posible que no desee que aparezcan en las superficies de Google o que los sistemas de Google las vuelvan a procesar. Los ejemplos incluyen páginas de desplazamiento infinito que duplican información en páginas vinculadas, o versiones ordenadas de manera diferente de la misma página. Si no puede consolidarlas como se describe en el primer punto, bloquee estas páginas sin importancia usandorobots.txt
  • Devuelva un 404 404 410 o
    410 404 código de estado para páginas eliminadas permanentemente.
  • Google no olvidará una URL que conoce, pero un 410 código de estado es una señal fuerte para no volver a rastrear esa URL. Sin embargo, las URL bloqueadas permanecerán como parte de su cola de rastreo durante mucho más tiempo y se volverán a rastrear cuando se elimine el bloqueo..
    Elimine soft 404
    errores
    soft 404 las páginas seguirán siendo rastreadas y desperdiciarán su presupuesto. Consulte el Informe de indexación de páginas
  • para soft 404 errores. Mantenga sus sitemaps actualizados.
  • Google lee su sitemap regularmente, así que asegúrese de incluir todo el contenido que desea que Google rastree. Si su sitio incluye contenido actualizado, recomendamos incluir la<lastmod>
• etiqueta..
  Evite cadenas de redireccionamiento largas
  • , que tienen un efecto negativo en el rastreo. Haga que sus páginas sean eficientes de cargar
  • Si Google puede cargar y renderizar sus páginas más rápido, es posible que podamos leer más contenido de su sitio. Mejore la velocidad de carga:
    Optimice los tiempos de respuesta de su servidor y los recursos para que las páginas se carguen más rápido. Utilice el almacenamiento en caché HTTP:Admite 304 304 (No modificado)
• códigos de estado HTTP.
  . Si una página no ha cambiado desde la última vez que Google la rastreó, devolver un

304

código le indica a Google que reutilice la versión almacenada en caché, ahorrando ancho de banda y recursos de su servidor.

• Depure problemas con el presupuesto de rastreoCompruebe si su sitio tuvo algún problema de disponibilidad durante el rastreo y busque formas de hacer que su rastreo sea más eficiente.
  ¿Cómo obtengo más presupuesto de rastreo?
  Hay dos formas de aumentar el presupuesto de rastreo:
• Agregue más recursos de servidor: Si su sitio no se puede rastrear debido a la capacidad del servidor por su parte (por ejemplo, está recibiendo