No utilices códigos 403 o 404 para la limitación de tasa

Viernes, 17 de febrero de 2023

En los últimos meses hemos notado un aumento en los propietarios de sitios web y algunas redes de entrega de contenido (CDN) que intentan utilizar 404 y otras 4xx errores de cliente (pero no
429) para intentar reducir la frecuencia de rastreo de Googlebot.

La versión corta de esta publicación de blog es: por favor, no hagas eso; tenemos documentación sobre
cómo reducir la frecuencia de rastreo de Googlebot. Lee eso en su lugar y aprende a gestionar eficazmente la frecuencia de rastreo de Googlebot.

Volviendo a lo básico: 4xx los errores son para errores de cliente

Los 4xx Los errores que los servidores devuelven a los clientes son una señal del servidor de que la solicitud del cliente era incorrecta en algún sentido. La mayoría de los errores en esta categoría son bastante benignos: errores de “no encontrado”, “prohibido”, “soy una tetera” (sí, eso existe). No sugieren nada malo con el servidor en sí.

La única excepción es 429, que significa “demasiadas solicitudes”. Este error es una señal clara para cualquier robot de buen comportamiento, incluido nuestro querido Googlebot, de que necesita reducir la velocidad porque está sobrecargando el servidor.

Por qué 4xx los errores son malos para limitar la tasa de Googlebot (excepto 429)

Los errores de cliente son exactamente eso: errores de cliente. Por lo general, no sugieren un error en el servidor: ni que esté sobrecargado, ni que haya encontrado un error crítico y no pueda responder a la solicitud. Simplemente significan que la solicitud del cliente era mala de alguna manera. No hay una forma sensata de equiparar, por ejemplo, un 404 error con que el servidor esté sobrecargado.
Imagina que ese fuera el caso: recibes una afluencia de 404 errores porque tu amigo enlazó por accidente a las páginas incorrectas de tu sitio y, a cambio, Googlebot reduce la velocidad de rastreo. Eso sería bastante malo. Lo mismo ocurre con 403, 410, 418.

Y de nuevo, la gran excepción es el 429 código de estado, que se traduce como “demasiadas solicitudes”.

Qué hace la limitación de tasa con 4xx a Googlebot

Todos 4xx Los códigos de estado HTTP (nuevamente, excepto 429) harán que su contenido se elimine de la Búsqueda de Google. Lo que es peor, si también sirve su archivo robots.txt con un
4xx código de estado HTTP, se tratará como si no existiera. Si tenía una regla allí que prohibía rastrear su ropa sucia, ahora Googlebot también lo sabe; no es genial para ninguna de las partes involucradas.

Cómo reducir la frecuencia de rastreo de Googlebot de la manera correcta

Tenemos amplia documentación sobre
cómo reducir la frecuencia de rastreo de Googlebot
y también sobre
cómo Googlebot (y la indexación de Búsqueda) maneja los diferentes códigos de estado HTTP; asegúrate de consultarlos. En resumen, querrás hacer una de estas cosas:

• Usa Search Console para reducir temporalmente la frecuencia de rastreo.
• Devuelve un 500, 503, o 429 código de estado HTTP a Googlebot cuando esté rastreando demasiado rápido.

Si necesitas más consejos o aclaraciones, encuéntranos en
Twitter o publica en
nuestros foros de ayuda.

Publicado por Gary Illyes