Crawling infrastructure

Cómo afectan los códigos de estado HTTP a los rastreadores de Google

Esta página describe cómo los diferentes
códigos de estado HTTP, afectan la capacidad de Google para rastrear su contenido web. Cubrimos los 20 principales códigos de estado que Google encuentra en la web. Los códigos de estado más exóticos, como
418 (I'm a teapot), no están cubiertos.

Códigos de estado HTTP

Los códigos de estado HTTP son generados por el servidor que aloja el sitio cuando responde a una solicitud realizada por un cliente, por ejemplo, un navegador o un rastreador. Cada código de estado HTTP tiene un significado diferente, pero a menudo el resultado de la solicitud es el mismo. Por ejemplo, hay varios códigos de estado que señalan una redirección, pero su resultado es el mismo.

Cómo afectan los códigos de estado HTTP a los rastreadores de Google

Search Console genera mensajes de error para los códigos de estado en el 4xx—5xx rango, y para redirecciones fallidas (3xx). Si el servidor respondió con un
2xx código de estado, el contenido recibido en la respuesta puede considerarse para la indexación.

La siguiente tabla contiene los códigos de estado HTTP más encontrados por Google y una explicación de cómo Google maneja cada código de estado.

Códigos de estado HTTP

2xx (éxito)

Google considera el contenido para su procesamiento (por ejemplo, en el caso de la Búsqueda de Google, para la indexación). Si el contenido sugiere un error para la Búsqueda de Google, una página vacía o un mensaje de error, Search Console mostrará un
soft 404 error.

Cómo afectan los códigos de estado HTTP a los rastreadores de Google — 2
200 (éxito)

Google transmite todo lo que recibió al siguiente paso de procesamiento (que es específico del producto). Para la Búsqueda de Google, el siguiente sistema es la canalización de indexación. Los sistemas de indexación pueden indexar el contenido, pero eso no está garantizado.

201 (creado)
202 (aceptado)

Google espera el contenido por un tiempo limitado, luego transmite todo lo que recibió al siguiente paso de procesamiento (que es específico del producto). El tiempo de espera depende del agente de usuario, por ejemplo, Googlebot Smartphone puede tener un tiempo de espera diferente al de Googlebot Image.

204 (sin contenido)

Google no pudo recibir ningún contenido y, por lo tanto, no puede procesarlo.

3xx (redirección)

De forma predeterminada, los rastreadores de Google siguen hasta 10 saltos de redirección. Sin embargo, los rastreadores de productos específicos pueden tener límites diferentes. Por ejemplo, Googlebot generalmente sigue 10 saltos de redirección al rastrear contenido web general, pero las herramientas de inspección de Google no siguen las redirecciones.

Cualquier contenido que Google reciba de la URL de redirección se ignora, y en su lugar se procesa el contenido de la URL de destino final. Para archivos robots.txt, aprenda cómo
Google maneja un robots.txt que devuelve un 3xx código de estado.

301 (movido permanentemente)

Google sigue la redirección, y los sistemas de Google utilizan la redirección como una
fuerte señal de que el destino de la redirección debe procesarse.

302 (encontrado)

De forma predeterminada, los rastreadores de Google siguen la redirección, y los sistemas de Google utilizan la redirección como una
débil señal de que el destino de la redirección debe procesarse. Otros productos pueden manejar la redirección de manera diferente.

303 (ver otro)
304 (no modificado)

Los rastreadores de Google señalan al siguiente sistema de procesamiento que el contenido es el mismo que la última vez que se rastreó. En el caso de la Búsqueda de Google, la canalización de indexación puede volver a calcular las señales para la URL, pero por lo demás, el código de estado no tiene efecto en la indexación.

307 (redirección temporal)Equivalente a 302.
308 (movido permanentemente)Equivalente a 301.

4xx (errores de cliente)

Google no utiliza el contenido de las URL que devuelven 4xx códigos de estado. Si una URL se utilizó anteriormente pero ahora devuelve un 4xx código de estado, los sistemas de Google dejarán de utilizar la URL con el tiempo. En el caso de la Búsqueda de Google, Google no indexa las URL que devuelven un 4xx código de estado, y las URL que ya están indexadas y devuelven un 4xx código de estado se eliminan del índice.

Cualquier contenido que Google reciba de las URL que devuelven un 4xx código de estado se ignora.

400 (solicitud incorrecta)

Todos 4xx errores, excepto 429, se tratan de la misma manera: los rastreadores de Google informan al siguiente sistema de procesamiento que el contenido no existe.

En el caso de la Búsqueda de Google, la canalización de indexación elimina la URL del índice si se indexó anteriormente. Las páginas recién encontradas 404 no se procesan. La frecuencia de rastreo disminuye gradualmente.

401 (no autorizado)
403 (prohibido)
404 (no encontrado)
410 (desaparecido)
411 (longitud requerida)
429 (demasiadas solicitudes)

Los rastreadores de Google tratan el 429 código de estado como una señal de que el servidor está sobrecargado, y se considera un error del servidor.

5xx (errores del servidor)

5xx y 429 los errores del servidor hacen que los rastreadores de Google ralenticen temporalmente el rastreo. Para la Búsqueda de Google, las URLs ya indexadas se conservan en el índice, pero finalmente se eliminan.

5xx código de estado se ignora. Para archivos robots.txt, aprenda cómo Google maneja un robots.txt que devuelve un
5xx código de estado Una vez que el servidor comienza a responder con un.

2xx código de estado, Google aumenta gradualmente la tasa de rastreo del sitio. 500 (error interno del servidor)

Google disminuye la tasa de rastreo del sitio. La disminución en la tasa de rastreo es proporcional al número de URLs individuales que devuelven un error del servidor. Para la Búsqueda de Google, la canalización de indexación de Google elimina del índice las URLs que devuelven persistentemente un error del servidor.

502 (puerta de enlace incorrecta)

503 (servicio no disponible)
Cómo afectan los códigos de estado HTTP a los rastreadores de Google | Alien Road
Alien Road

Cómo lo aplicamos

Status codes are instructions to Google, and clients use them loosely. A soft 404, a 302 that should be a 301 and a 503 left in place too long each produce a different and predictable indexing outcome.

Servicios relacionados

Compartir