Lunes, 16 de enero de 2017
Recientemente, hemos escuchado una serie de definiciones para el “presupuesto de rastreo” (crawl budget), sin embargo, no tenemos un solo término que describa todo lo que representa el “presupuesto de rastreo” externamente. Con esta publicación aclararemos qué tenemos realmente y qué significa para Googlebot.
En primer lugar, nos gustaría enfatizar que el presupuesto de rastreo, tal como se describe a continuación, no es algo de lo que la mayoría de los editores deban preocuparse. Si las páginas nuevas tienden a ser rastreadas el mismo día en que se publican, el presupuesto de rastreo no es algo en lo que los webmasters deban centrarse. Del mismo modo, si un sitio tiene menos de unos pocos miles de URL, la mayor parte del tiempo se rastreará de manera eficiente.
Priorizar qué rastrear, cuándo y cuántos recursos puede asignar el servidor que aloja el sitio para el rastreo es más importante para sitios más grandes, o aquellos que generan páginas automáticamente en función de parámetros de URL, por ejemplo.
Límite de velocidad de rastreo
Googlebot está diseñado para ser un buen ciudadano de la web. El rastreo es su principal prioridad, al tiempo que se asegura de no degradar la experiencia de los usuarios que visitan el sitio. A esto lo llamamos el “límite de velocidad de rastreo” (crawl rate limit), que limita la tasa máxima de obtención para un sitio determinado.
En pocas palabras, esto representa el número de conexiones paralelas simultáneas que Googlebot puede usar para rastrear el sitio, así como el tiempo que tiene que esperar entre las recuperaciones. La tasa de rastreo puede subir y bajar según un par de factores:
- Salud del rastreo: Si el sitio responde muy rápidamente durante un tiempo, el límite aumenta, lo que significa que se pueden usar más conexiones para rastrear. Si el sitio se desacelera o responde con errores de servidor, el límite disminuye y Googlebot rastrea menos.
- Límite establecido en
Search Console: Los propietarios de sitios web pueden reducir el rastreo de su sitio por parte de Googlebot. Tenga en cuenta que establecer límites más altos no aumenta automáticamente el rastreo.
Demanda de rastreo
Incluso si no se alcanza el límite de velocidad de rastreo, si no hay demanda de indexación, habrá poca actividad por parte de Googlebot. Los dos factores que juegan un papel importante en la determinación de la demanda de rastreo son:
- Popularidad: Las URL que son más populares en Internet tienden a ser rastreadas con más frecuencia para mantenerlas más frescas en nuestro índice.
- Obsolescencia: Nustros sistemas intentan evitar que las URL queden desactualizadas en el índice.
Además, los eventos de todo el sitio, como los cambios de sitio, pueden desencadenar un aumento en la demanda de rastreo para reindexar el contenido bajo las nuevas URL.
Tomando la tasa de rastreo y la demanda de rastreo juntas, definimos el presupuesto de rastreo como el número de URL que Googlebot puede y quiere rastrear.
Factores que afectan el presupuesto de rastreo
Según nuestro análisis, tener muchas URL de bajo valor añadido puede afectar negativamente al rastreo y la indexación de un sitio. Encontramos que las URL de bajo valor añadido se dividen en estas categorías, en orden de importancia:
- Navegación facetada y
identificadores de sesión - Contenido duplicado en el sitio
- Páginas de error leve (Soft error)
- Páginas hackeadas
- Espacios infinitos y proxies
- Contenido de baja calidad y spam
Desperdiciar recursos del servidor en páginas como estas agotará la actividad de rastreo de las páginas que realmente tienen valor, lo que puede causar un retraso significativo en el descubrimiento de excelente contenido en un sitio.
Principales preguntas
El rastreo es el punto de entrada para los sitios en los resultados de búsqueda de Google. El rastreo eficiente de un sitio web ayuda con su indexación en la Búsqueda de Google.
¿La velocidad del sitio afecta mi presupuesto de rastreo? ¿Qué pasa con los errores?
Hacer que un sitio sea más rápido mejora la experiencia de los usuarios al tiempo que aumenta la tasa de rastreo. Para Googlebot, un sitio rápido es una señal de servidores saludables, por lo que puede obtener más contenido a través del mismo número de conexiones. Por otro lado, un número significativo de errores 5xx o tiempos de espera de conexión indican lo contrario, y el rastreo se ralentiza.
Recomendamos prestar atención al
informe de Errores de rastreo en Search Console
y mantener bajo el número de errores de servidor.
¿Es el rastreo un factor de posicionamiento?
Una mayor tasa de rastreo no conducirá necesariamente a mejores posiciones en los resultados de búsqueda. Google utiliza cientos de señales para clasificar los resultados y, aunque el rastreo es necesario para estar en los resultados, no es una señal de posicionamiento.
¿Las URL alternativas y el contenido incrustado cuentan en el presupuesto de rastreo?
En general, cualquier URL que Googlebot rastree contará para el presupuesto de rastreo de un sitio. Las URL alternativas, como AMP o hreflang, así como el contenido incrustado, como CSS y JavaScript, incluidas las llamadas de AJAX (comoXHR
), es posible que deban rastrearse y consumirán el presupuesto de rastreo de un sitio. Del mismo modo, las cadenas de redireccionamiento largas pueden tener un efecto negativo en el rastreo. ¿Puedo controlar a Googlebot con la regla crawl-delay
? La regla de robots.txt no estándar crawl-delay
no es procesada por Googlebot. ¿Afecta la regla nofollow
al presupuesto de rastreo? Depende. Cualquier URL que se rastree afecta el presupuesto de rastreo, por lo que incluso si su página marca una URL como nofollow
, aún puede ser rastreada si otra página de su sitio, o cualquier página de la web, no etiqueta el enlace como nofollow.
¿Las URL que bloqueé a través de robots.txt afectan mi presupuesto de rastreo de alguna manera?
No, las URL bloqueadas no afectan el presupuesto de rastreo.
Para obtener información sobre cómo optimizar el rastreo de su sitio, eche un vistazo a nuestra publicación de blog sobre
cómo optimizar el rastreo
de 2009 que sigue siendo aplicable. Si tiene preguntas, pregunte en los!
Cómo lo aplicamos
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Servicios relacionados