El presupuesto de rastreo es la intersección de dos cosas: límite de la frecuencia de rastreo (cuánto puede recuperar Google sin sobrecargar tu servidor) y demanda de rastreo (cuánto quiere recuperar Google, según la popularidad y la antigüedad).
Quién necesita realmente pensar en esto
Google es explícito al afirmar que la mayoría de los sitios no lo necesitan. Se vuelve relevante para sitios con más de un millón de URL que cambian regularmente, o sitios medianos (más de 10,000 URL) con contenido que cambia muy con frecuencia. Por debajo de eso, si las páginas no se indexan, la causa es casi siempre la calidad o la indexabilidad en lugar del presupuesto.
Qué lo desperdicia
- Navegación facetada que genera combinaciones infinitas de URL
- Identificadores de sesión y parámetros de seguimiento en las URL
- Soft 404 que devuelven el código 200
- Calendarios infinitos y archivos paginados sin fin
- Contenido duplicado a través de variaciones de parámetros
Alien Road recomienda: antes de optimizar el presupuesto de rastreo, revisa el registro del servidor. Pedimos registros sin procesar en cada proyecto con sitios grandes porque muestran lo que Googlebot solicitó realmente y, en la mayoría de los casos, el rastreo se gasta en URL de parámetros que nadie sabía que existían. Solucionar eso es más rápido y seguro que cualquier directiva que puedas agregar.
Cómo lo aplicamos
Crawl budget matters on large sites and is a distraction on small ones. Our threshold matches Google’s: below roughly ten thousand URLs we do not touch it, and above that we start with server logs rather than with crawl-budget theories.
Servicios relacionados