Reducir la tasa de rastreo de Google

La infraestructura de rastreo de Google cuenta con algoritmos sofisticados para determinar la tasa de rastreo óptima para un sitio. Nuestro objetivo es rastrear tantas páginas de su sitio como podamos en cada visita sin sobrecargar su servidor. En algunos casos, el rastreo de su sitio por parte de Google podría estar causando una carga crítica en su infraestructura o causar costos no deseados durante una interrupción. Para aliviar esto, puede decidir reducir la cantidad de solicitudes realizadas por los rastreadores de Google.

Comprender la causa del fuerte aumento en el rastreo

Un fuerte aumento en el rastreo puede ser causado por ineficiencias en la estructura de su sitio o problemas con su sitio. Según los informes que hemos recibido en el pasado, las causas más comunes son:

• Configuración ineficiente de URLs en el sitio, que generalmente es causada por una funcionalidad específica del sitio:
  • Navegación por facetas u otra funcionalidad de clasificación y filtrado del sitio
  • Un calendario con muchas URLs para fechas específicas
• Un objetivo de Anuncios de búsqueda dinámicos

Le recomendamos encarecidamente que consulte con su empresa de alojamiento y observe los registros de acceso recientes de su servidor para comprender la fuente del tráfico y ver si encaja en las causas comunes mencionadas anteriormente del fuerte aumento en el rastreo. Luego, consulte nuestras guías sobre
gestión del rastreo de URLs de navegación por facetas
y
optimización de la eficiencia del rastreo.

Reducir urgentemente el tráfico de rastreadores (para emergencias)

Si necesita reducir urgentemente la tasa de rastreo por un corto período de tiempo (por ejemplo, un par de horas o 1-2 días), regrese 500, 503, o 429 código de estado de respuesta HTTP en lugar de 200 a las solicitudes de rastreo. La infraestructura de rastreo de Google reduce la tasa de rastreo de su sitio cuando encuentra una cantidad significativa de URLs con 500, 503, o 429 códigos de estado de respuesta HTTP (por ejemplo, si usted
deshabilitó su sitio web). La tasa de rastreo reducida afecta a todo el nombre de host de su sitio (por ejemplo,
subdomain.example.com), tanto el rastreo de las URLs que devuelven errores como las URLs que devuelven contenido. Una vez que se reduce la cantidad de estos errores, la tasa de rastreo comenzará a aumentar automáticamente de nuevo.

Solicitudes excepcionales para reducir la tasa de rastreo

Si servir errores a los rastreadores de Google no es factible en su infraestructura,
presente una solicitud especial
para informar un problema con una tasa de rastreo inusualmente alta, mencionando la tasa óptima para su sitio en su solicitud. No puede solicitar un aumento en la tasa de rastreo, y puede tomar varios días para que la solicitud sea evaluada y cumplida.