Solucionar errores de rastreo de la Búsqueda de Google

Aquí tienes los pasos clave para solucionar y corregir problemas de rastreo de la Búsqueda de Google en tu sitio:

1. Comprueba si Googlebot experimenta problemas de disponibilidad en tu sitio.
2. Comprueba si tienes páginas que no se están rastreando pero deberían hacerlo.
3. Comprueba si alguna parte de tu sitio necesita ser rastreada con más frecuencia de lo que ya se hace.
4. Mejora la eficiencia de rastreo de tu sitio.
5. Gestiona el exceso de rastreo de tu sitio.

Comprueba si Googlebot experimenta problemas de disponibilidad en tu sitio

Mejorar la disponibilidad de tu sitio no aumentará necesariamente tu presupuesto de rastreo; Google determina la mejor velocidad de rastreo en función de la demanda de rastreo, como se describió anteriormente. Sin embargo, los problemas de disponibilidad impiden que Google rastree tu sitio tanto como le gustaría.

Diagnóstico:

Utiliza el informe de estadísticas de rastreo
para ver el historial de rastreo de Googlebot en tu sitio. El informe muestra cuándo Google experimentó problemas de disponibilidad en tu sitio. Si se informan errores o advertencias de disponibilidad para tu sitio, busca casos en los gráficos de Disponibilidad del host donde las solicitudes de Googlebot superaron la línea de límite rojo, haz clic en el gráfico para ver qué URL fallaron e intenta correlacionarlas con problemas en tu sitio.

Además, también puedes utilizar la
herramienta de inspección de URLs
para probar algunas URLs en tu sitio. Si la herramienta devuelve advertencias de
Exceso de carga del host
, significa que Googlebot no puede rastrear tantas URLs de tu sitio como ha descubierto.

Tratamiento:

• Lee la documentación del informe de estadísticas de rastreo para aprender a encontrar y gestionar algunos problemas de disponibilidad.
• Bloquea páginas para que no se rastreen si no quieres que se rastreen. (Consulta gestionar tu inventario)
• Aumenta la velocidad de carga y renderizado de páginas. (Consulta Mejora la eficiencia de rastreo de tu sitio)
• Aumenta la capacidad de tu servidor. Si parece que Google rastrea constantemente tu sitio al límite de su capacidad de servicio, pero aún tienes URL importantes que no se están rastreando o actualizando tanto como necesitan, tener más recursos de servicio podría permitir que Google solicite más páginas en tu sitio. Comprueba tu historial de disponibilidad de host en el
  informe de estadísticas de rastreo para ver si la velocidad de rastreo de Google parece cruzar la línea de límite a menudo. Si es así, aumenta tus recursos de servicio durante un mes y comprueba si las solicitudes de rastreo aumentaron durante ese mismo período.

Comprueba si alguna parte de tu sitio no se rastrea, pero debería hacerlo

Google dedica todo el tiempo necesario en tu sitio para indexar todo el contenido de alta calidad y valioso para el usuario que pueda encontrar. Si crees que Googlebot se está perdiendo contenido importante, o bien no conoce el contenido, el contenido está bloqueado para Google o la disponibilidad de tu sitio está limitando el acceso de Google (o Google está intentando no sobrecargar tu sitio).

Diagnóstico:

Search Console no proporciona un historial de rastreo para tu sitio que se pueda filtrar por URL o ruta, pero puedes inspeccionar los registros de tu sitio para ver si
Googlebotha rastreado URLs específicas. Que esas URLs rastreadas se hayan indexado o no es otra historia.

Recuerda que para la mayoría de los sitios, las páginas nuevas tardarán un mínimo de varios días en ser notadas; la mayoría de los sitios no deben esperar un rastreo el mismo día para las URL, con la excepción de los sitios sensibles al tiempo, como los sitios de noticias.

Tratamiento:

Si estás añadiendo páginas a tu sitio y no se rastrean en un tiempo razonable, o bien Google no las conoce, el contenido está bloqueado, tu sitio ha alcanzado su capacidad máxima de servicio o estás fuera del presupuesto de rastreo.

1. Informa a Google sobre tus nuevas páginas: actualiza tus sitemaps para reflejar las nuevas URL.
2. Examina tus reglas de robots.txt para confirmar que no estás bloqueando páginas por accidente.
3. Revisa tus prioridades de rastreo (es decir, usa tu presupuesto de rastreo sabiamente). Gestiona tu inventario y.
4. mejora la eficiencia de rastreo de tu sitioComprueba que no te quedes sin capacidad de servicio

.
Googlebot reducirá su rastreo si detecta que tus servidores tienen problemas para responder a las solicitudes de rastreo.

Ten en cuenta que es posible que las páginas no se muestren en los resultados de búsqueda, incluso si se han rastreado, si no hay suficiente valor o demanda de los usuarios para el contenido.

Comprueba si las actualizaciones se rastrean con la suficiente rapidez

Si faltan páginas nuevas o actualizadas en tu sitio, tal vez sea porque no las hemos visto o no hemos notado que se han actualizado. Así es como puedes ayudarnos a estar al tanto de las actualizaciones de las páginas.

Ten en cuenta que Google se esfuerza por comprobar e indexar las páginas de manera oportuna. Para la mayoría de los sitios, esto es de tres días o más. No esperes que Google indexe las páginas el mismo día que las publicas, a menos que seas un sitio de noticias u tengas otro contenido de alto valor y extremadamente sensible al tiempo.

Diagnóstico: Examina los registros de tu sitio para ver cuándo.

Googlebot

rastreó URLs específicas. Para conocer la fecha de indexación, utiliza la herramienta de inspección de URL o realiza una búsqueda de las URL que actualizaste.

Tratamiento:

• Hacer: Usa un sitemap de noticias
• si tu sitio tiene contenido de noticias. Usa la etiqueta <lastmod>
• en los sitemaps para indicar cuándo se ha actualizado una URL indexada. Usa una estructura de URL rastreable
• para ayudar a Google a encontrar tus páginas. Proporciona estándares, rastreables <a> enlaces
  para ayudar a Google a encontrar tus páginas.
• Si tu sitio utiliza HTML independiente para las versiones móvil y de escritorio, proporciona el mismo conjunto de enlaces
  en la versión móvil que tienes en la versión de escritorio. Si no es posible proporcionar el
  mismo conjunto de enlaces en la versión móvil, asegúrate de que estén incluidos en un archivo
  sitemap .
  Google solo
  indexa la versión móvil de las páginas, y limitar los enlaces que se muestran allí
  puede ralentizar el descubrimiento de nuevas páginas.

Evita:

• Enviar el mismo sitemap sin cambios varias veces al día.
• Esperar que Googlebot rastree todo lo que hay en un sitemap, o que lo rastree inmediatamente.
  Los sitemaps son sugerencias útiles para Googlebot, no requisitos absolutos.
• Incluir URLs en tus sitemaps que no quieras que aparezcan en la Búsqueda.
  Esto puede desperdiciar tu presupuesto de rastreo en páginas que no deseas indexar.

Mejora la eficiencia de rastreo de tu sitio

Aumenta la velocidad de carga de tus páginas

El rastreo de Google está limitado por el ancho de banda, el tiempo y la disponibilidad de instancias de Googlebot.
Si tu servidor responde a las solicitudes más rápido, es posible que podamos rastrear más páginas de tu
sitio. Dicho esto, Google solo quiere rastrear contenido de alta calidad, por lo que simplemente hacer que las páginas de baja
calidad sean más rápidas no animará a Googlebot a rastrear más tu sitio; por el contrario, si
creemos que falta contenido de alta calidad en tu sitio, probablemente aumentaremos tu
presupuesto para rastrear ese contenido.

Así es como puedes optimizar tus páginas y recursos para el rastreo:

• Evita que Googlebot cargue recursos grandes pero poco importantes utilizando robots.txt.
  Asegúrate de bloquear solo los recursos no críticos, es decir, recursos que no son importantes para
  comprender el significado de la página (como imágenes decorativas).
• Asegúrate de que tus páginas carguen rápido.
• Cuidado con las cadenas de redireccionamiento largas, que tienen un efecto negativo en el rastreo.
• Tanto el tiempo de respuesta a las solicitudes del servidor como el tiempo necesario para renderizar las páginas
  importan, incluidos el tiempo de carga y ejecución de recursos incrustados como imágenes y scripts. Ten
  en cuenta los recursos grandes o lentos necesarios para la indexación.

Especifica cambios de contenido con códigos de estado HTTP

Google generalmente admite las cabeceras de solicitudes
If-Modified-Since y If-None-Match HTTP
para el rastreo. Los rastreadores de Google no envían las cabeceras en todos los intentos de rastreo; depende del
caso de uso de la solicitud (por ejemplo, es más probable que
AdsBot configure las cabeceras de solicitudes HTTP If-Modified-Since y If-None-Match ). Si nuestros rastreadores envían la cabecera If-Modified-Since , el valor de la cabecera es la
fecha y hora
en que el contenido fue rastreado por última vez. Según ese valor, el servidor puede optar por devolver un
código de estado HTTP
304 (Not Modified) sin cuerpo de respuesta, en cuyo caso Google
reutilizará la versión del contenido que rastreó la última vez. Si el contenido es más nuevo que la fecha
especificada por el rastreador en la cabecera If-Modified-Since , el servidor puede devolver un
código de estado HTTP
200 (OK) con el cuerpo de respuesta.

Independientemente de las cabeceras de solicitud, puedes enviar un
código de estado HTTP 304 (Not Modified) y ningún cuerpo de respuesta para cualquier solicitud de Googlebot si el contenido no ha cambiado desde
la última vez que Googlebot visitó la URL. Esto ahorrará tiempo de procesamiento y recursos a tu servidor,
lo que puede mejorar indirectamente la eficiencia del rastreo.

Oculta las URLs que no quieras en los resultados de búsqueda

Desperdiciar recursos del servidor en páginas innecesarias puede reducir la actividad de rastreo de páginas que
son importantes para ti, lo que puede causar un retraso significativo en el descubrimiento de contenido nuevo o actualizado genial en un sitio.

Exponer muchas URLs en tu sitio que no deseas que sean rastreadas por la Búsqueda puede afectar negativamente al
rastreo y la indexación de un sitio. Por lo general, estas URLs se encuadran en las siguientes categorías:

• Navegación por facetas
  y identificadores de sesión:
  La navegación por facetas suele ser contenido duplicado del sitio; los identificadores de sesión y
  otros parámetros de URL que simplemente ordenan o filtran la página no proporcionan contenido nuevo. Aprende cómo
  gestionar el rastreo de páginas de navegación por facetas.
• Contenido duplicado:
  Ayuda a Google a identificar contenido duplicado para evitar un rastreo innecesario.
• soft 404 páginas: Devuelve un 404
  código cuando una página ya no existe.
• Páginas hackeadas: Asegúrate de comprobar
  el informe de problemas de seguridad y corrige o elimina cualquier página hackeada que encuentres.
• Espacios infinitos y proxies:
  Bloquea estos del rastreo con robots.txt.
• Contenido de baja calidad y spam:
  Es evidente que es mejor evitarlo.
• Páginas de carrito de compras, páginas de desplazamiento infinito y páginas que realizan una acción (como páginas de “registrarse” o “comprar ahora”).

Haz:

• Usa robots.txt si no quieres que Google rastree un recurso o página en absoluto.
• Si un recurso común se reutiliza en varias páginas (como una imagen compartida o un archivo JavaScript),
  haz referencia al recurso desde la misma URL en cada página, para que Google pueda almacenar en caché y reutilizar el mismo recurso sin necesidad de solicitarlo varias veces.

Evita:

• No agregues ni elimines páginas o directorios de robots.txt regularmente como una forma de reasignar el
  presupuesto de rastreo para tu sitio. Usa robots.txt solo para páginas o recursos que
  no quieras que aparezcan en Google a largo plazo.
• No realices rotación de sitemaps ni utilices otros mecanismos de ocultación temporal para reasignar el presupuesto.

soft 404 errores

A soft 404 error es cuando una URL devuelve una página que le dice al usuario que la página no existe y también un
200 (éxito)
código de estado. En algunos casos, podría ser una página sin contenido principal o una página vacía.

Dichas páginas pueden ser generadas por diversas razones por el servidor web de su sitio, el sistema de gestión de contenido o el navegador del usuario. Por ejemplo:

• Un archivo de inclusión del lado del servidor faltante.
• Una conexión rota a la base de datos.
• Una página de resultados de búsqueda interna vacía.
• Un archivo JavaScript no cargado o que falta de otra manera.

Es una mala experiencia de usuario devolver un 200 (éxito) código de estado, pero luego mostrar o sugerir un mensaje de error o algún tipo de error en la página. Los usuarios pueden pensar que la página es una página en vivo que funciona, pero luego se les presenta algún tipo de error. Dichas páginas se excluyen de la Búsqueda.

Cuando los algoritmos de Google detectan que la página es en realidad una página de error basada en su contenido, Search Console mostrará un soft 404 error en el
informe de indexación de páginas.

del sitio. Corrija los soft 404

errores Dependiendo del estado de la página y el resultado que desee, puede resolver los
soft 404

• errores de varias maneras:
• La página y el contenido ya no están disponibles.
• La página o el contenido está ahora en otro lugar.

La página y el contenido todavía existen.

Intente determinar qué solución sería la mejor para sus usuarios.

La página y el contenido ya no están disponibles
Si eliminó la página y no hay una página de reemplazo en su sitio con contenido similar, devuelva un 404 (no encontrado) o
410 (desaparecido)

código de respuesta (estado) para la página. Estos códigos de estado indican a los motores de búsqueda que la página no existe y que no desea que los motores de búsqueda indexen la página. 404 Si tiene acceso a los archivos de configuración de su servidor, puede hacer que estas páginas de error sean útiles para los usuarios personalizándolas. Una buena
404 página personalizada ayuda a las personas a encontrar la información que buscan y también proporciona otro contenido útil que anima a las personas a explorar más su sitio. Aquí hay algunos consejos para diseñar una

• página útil:
• Diga claramente a los visitantes que la página que buscan no se puede encontrar. Use un lenguaje que sea amigable y acogedor. 404 Asegúrese de que su
• página tenga el mismo aspecto y sensación (incluida la navegación) que el resto de su sitio.
• Considere agregar enlaces a sus artículos o publicaciones más populares, así como un enlace a la página de inicio de su sitio.

Piense en proporcionar una forma para que los usuarios informen un enlace roto. 404 Las 404 páginas personalizadas se crean únicamente para los usuarios. Dado que estas páginas son inútiles desde la perspectiva de un motor de búsqueda, asegúrese de que el servidor devuelva un

código de estado HTTP

para evitar que las páginas sean indexadas.
La página o el contenido está ahora en otro lugar
Si su página se ha movido o tiene un reemplazo claro en su sitio, devuelva un
301 (redirección permanente)
para redirigir al usuario. Esto no interrumpirá su experiencia de navegación y también es una excelente manera de informar a los motores de búsqueda sobre la nueva ubicación de la página. Use la

herramienta de inspección de URL

para verificar si su URL realmente devuelve el código correcto. La página y el contenido todavía existen Si una página que por lo demás es buena fue marcada con un
soft 404
error, es probable que no se haya cargado correctamente para Googlebot, que le faltaran recursos críticos o que mostrara un mensaje de error prominente durante la renderización. Use la herramienta de inspección de URLpara examinar el contenido renderizado y el código HTTP devuelto. Si la página renderizada está en blanco, casi en blanco, o el contenido tiene un mensaje de error, podría ser que su página haga referencia a muchos recursos que no se pueden cargar (imágenes, scripts y otros elementos no textuales), lo que puede interpretarse como un
soft 404.

Las razones por las que los recursos no se pueden cargar incluyen recursos bloqueados (bloqueados por

robots.txt

), tener demasiados recursos en una página, varios errores del servidor, o carga lenta o recursos muy grandes.:

Maneje el rastreo excesivo de su sitio (emergencias)

Googlebot tiene algoritmos para evitar abrumar su sitio con solicitudes de rastreo. Sin embargo, si descubre que Googlebot está abrumando su sitio, hay algunas cosas que puede hacer.:

Diagnóstico

1. Monitoree su servidor en busca de solicitudes excesivas de Googlebot a su sitio. 503 Tratamiento 429 En una emergencia, recomendamos los siguientes pasos para ralentizar un rastreo abrumador de Googlebot: Devuelva o
2. códigos de estado de respuesta HTTP 503 temporalmente 429 para las solicitudes de Googlebot cuando su servidor esté sobrecargado. Googlebot volverá a intentar estas URL durante unos 2 días. Tenga en cuenta que devolver códigos de “no disponibilidad” durante más de unos pocos días hará que Google ralentice o detenga permanentemente el rastreo de URL en su sitio, así que siga los pasos adicionales siguientes. 503 Cuando la tasa de rastreo baje, deje de devolver 429 o
3. códigos de estado de respuesta HTTP para las solicitudes de rastreo; devolver
4. o
   durante más de 2 días hará que Google elimine esas URL del índice. Monitoree su rastreo y la capacidad de su host con el tiempo. Si el rastreador problemático es uno de los rastreadores AdsBot,
   el problema es probablemente que ha creado
   objetivos de Anuncios Dinámicos de Búsqueda
   para su sitio que Google está intentando rastrear. Este rastreo se repetirá cada 3 semanas. Si no tiene la capacidad de servidor para manejar estos rastreos, limite sus objetivos de anuncios o aumente su capacidad de servicio.