Résoudre les erreurs d'exploration de la Recherche Google

Voici les étapes clés pour dépanner et corriger les problèmes d’exploration de la Recherche Google pour votre site :

1. Vérifiez si Googlebot rencontre des problèmes de disponibilité sur votre site.
2. Vérifiez si vous avez des pages qui ne sont pas explorées, mais qui devraient l’être.
3. Vérifiez si certaines parties de votre site ont besoin d’être explorées plus rapidement qu’elles ne le sont déjà.
4. Améliorez l’efficacité d’exploration de votre site.
5. Gérez l’exploration excessive de votre site.

Vérifiez si Googlebot rencontre des problèmes de disponibilité sur votre site

L’amélioration de la disponibilité de votre site n’augmentera pas nécessairement votre budget d’exploration ; Google détermine le meilleur taux d’exploration en fonction de la demande d’exploration, comme décrit précédemment. Cependant, les problèmes de disponibilité empêchent Google d’explorer votre site autant qu’il le souhaiterait.

Diagnostic :

Utilisez le rapport sur les statistiques d’exploration
pour voir l’historique d’exploration de Googlebot pour votre site. Le rapport indique quand Google a rencontré des problèmes de disponibilité sur votre site. Si des erreurs ou des avertissements de disponibilité sont signalés pour votre site, recherchez dans les graphiques de disponibilité de l’hôte les cas où les requêtes de Googlebot ont dépassé la ligne limite rouge, cliquez sur le graphique pour voir quelles URL ont échoué et essayez de les corréler avec les problèmes sur votre site.

De plus, vous pouvez également utiliser
l’outil d’inspection d’URL
pour tester quelques URL sur votre site. Si l’outil renvoie des avertissements de
charge de l’hôte dépassée
, cela signifie que Googlebot ne peut pas explorer autant d’URL de votre site qu’il en a découvertes.

Traitement :

• Lisez la documentation du rapport sur les statistiques d’exploration pour apprendre à trouver et à gérer certains problèmes de disponibilité.
• Bloquez l’exploration des pages si vous ne souhaitez pas qu’elles soient explorées. (Voir gérer votre inventaire)
• Augmentez la vitesse de chargement et de rendu des pages. (Voir Améliorez l’efficacité d’exploration de votre site)
• Augmentez la capacité de votre serveur. Si Google semble constamment explorer votre site à la limite de sa capacité de service, mais que vous avez toujours des URL importantes qui ne sont pas explorées ou mises à jour autant qu’elles le devraient, disposer de plus de ressources de service pourrait permettre à Google de demander plus de pages sur votre site. Vérifiez votre historique de disponibilité de l’hôte dans le
  rapport sur les statistiques d’exploration pour voir si le taux d’exploration de Google semble franchir souvent la ligne limite. Si c’est le cas, augmentez vos ressources de service pendant un mois et voyez si les demandes d’exploration ont augmenté au cours de cette même période.

Vérifiez si certaines parties de votre site ne sont pas explorées, mais devraient l’être

Google passe tout le temps nécessaire sur votre site pour indexer tout le contenu de haute qualité et précieux pour les utilisateurs qu’il peut trouver. Si vous pensez que Googlebot manque de contenu important, soit il ne connaît pas le contenu, soit le contenu est bloqué pour Google, soit la disponibilité de votre site restreint l’accès de Google (ou Google essaie de ne pas surcharger votre site).

Diagnostic :

Search Console ne fournit pas d’historique d’exploration pour votre site qui peut être filtré par URL ou par chemin, mais vous pouvez inspecter les journaux de votre site pour voir si des URL spécifiques ont été explorées par
Googlebot. Que ces URL explorées aient été indexées ou non est une autre histoire.

N’oubliez pas que pour la plupart des sites, les nouvelles pages mettront au minimum plusieurs jours à être remarquées ; la plupart des sites ne doivent pas s’attendre à une exploration le jour même pour les URL, à l’exception des sites sensibles au facteur temps tels que les sites d’actualités.

Traitement :

Si vous ajoutez des pages à votre site et qu’elles ne sont pas explorées dans un délai raisonnable, soit Google ne les connaît pas, le contenu est bloqué, votre site a atteint sa capacité de service maximale, ou vous êtes à court de budget d’exploration.

1. Informez Google de vos nouvelles pages : mettez à jour vos sitemaps pour refléter les nouvelles URL.
2. Examinez vos règles robots.txt pour confirmer que vous ne bloquez pas accidentellement des pages.
3. Examinez vos priorités d’exploration (c’est-à-dire utilisez judicieusement votre budget d’exploration). Gérez votre inventaire et.
4. améliorez l’efficacité d’exploration de votre siteVérifiez que vous ne manquez pas de capacité de service

.
Googlebot réduira son exploration s’il détecte que vos serveurs ont du mal à répondre aux demandes d’exploration.

Notez que les pages peuvent ne pas s’afficher dans les résultats de recherche, même si elles ont été explorées, s’il n’y a pas assez de valeur ou de demande des utilisateurs pour le contenu.

Vérifiez si les mises à jour sont explorées assez rapidement

Si des pages nouvelles ou mises à jour manquent sur votre site, c’est peut-être parce que nous ne les avons pas vues ou que nous n’avons pas remarqué qu’elles ont été mises à jour. Voici comment vous pouvez nous aider à être conscients des mises à jour de pages.

Notez que Google s’efforce de vérifier et d’indexer les pages en temps opportun. Pour la plupart des sites, cela prend trois jours ou plus. Ne vous attendez pas à ce que Google indexe les pages le jour même où vous les publiez, sauf si vous êtes un site d’actualités ou si vous avez un autre contenu de grande valeur et extrêmement sensible au facteur temps.

Diagnostic : Examinez les journaux de votre site pour voir quand des URL spécifiques ont été explorées par.

Googlebot

. Pour connaître la date d’indexation, utilisez l’outil d’inspection d’URL ou effectuez une recherche pour les URL que vous avez mises à jour.

Traitement :

• À faire : Utilisez un sitemap d’actualités
• si votre site contient du contenu d’actualités. Utilisez la balise <lastmod>
• dans les sitemaps pour indiquer quand une URL indexée a été mise à jour. Utilisez une structure d’URL explorable
• pour aider Google à trouver vos pages. Fournissez des éléments standard, explorable <a> liens
  pour aider Google à trouver vos pages.
• Si votre site utilise un code HTML distinct pour les versions mobile et de bureau, fournissez le même ensemble de liens
  sur la version mobile que sur la version de bureau. S’il n’est pas possible de fournir le
  même ensemble de liens sur la version mobile, assurez-vous qu’ils sont inclus dans un fichier
  sitemap .
  Google n’
  indexe que la version mobile des pages, et limiter les liens qui y figurent
  peut ralentir la découverte de nouvelles pages.

À éviter :

• Soumettre le même sitemap inchangé plusieurs fois par jour.
• S’attendre à ce que Googlebot crawle tout ce qui se trouve dans un sitemap, ou les crawle immédiatement.
  Les sitemaps sont des suggestions utiles pour Googlebot, et non des exigences absolues.
• Inclure des URLs dans vos sitemaps que vous ne souhaitez pas voir apparaître dans la recherche.
  Cela peut gaspiller votre budget de crawl sur des pages que vous ne souhaitez pas voir indexées.

Améliorez l’efficacité du crawl de votre site

Augmentez la vitesse de chargement de vos pages

Le crawl de Google est limité par la bande passante, le temps et la disponibilité des instances de Googlebot.
Si votre serveur répond plus rapidement aux requêtes, nous pourrons peut-être crawler plus de pages sur votre
site. Cela dit, Google ne souhaite crawler que du contenu de haute qualité. Par conséquent, se contenter d’accélérer des pages de faible
qualité n’incitera pas Googlebot à crawler davantage votre site ; inversement, si
nous pensons qu’il manque du contenu de haute qualité sur votre site, nous augmenterons probablement
votre budget pour crawler ce contenu.

Voici comment vous pouvez optimiser vos pages et ressources pour le crawl :

• Empêchez Googlebot de charger des ressources volumineuses mais sans importance à l’aide de robots.txt.
  Veillez à bloquer uniquement les ressources non critiques, c’est-à-dire les ressources qui ne sont pas importantes pour
  comprendre le sens de la page (comme les images décoratives).
• Assurez-vous que vos pages se chargent rapidement.
• Attention aux longues chaînes de redirection, qui ont un effet négatif sur le crawl.
• Le temps de réponse aux requêtes du serveur ainsi que le temps nécessaire pour rendre les pages
  comptent, y compris le temps de chargement et d’exécution des ressources intégrées telles que les images et les scripts.
  Soyez conscient des ressources volumineuses ou lentes nécessaires à l’indexation.

Spécifiez les modifications de contenu avec les codes d’état HTTP

Google prend généralement en charge les en-têtes de requête HTTP
If-Modified-Since et If-None-Match
pour le crawl. Les crawlers de Google n’envoient pas les en-têtes à chaque tentative de crawl ; cela dépend du
cas d’utilisation de la requête (par exemple,
AdsBot est plus susceptible de définir les en-têtes de requête HTTP If-Modified-Since et If-None-Match ). Si nos crawlers envoient l’en-tête If-Modified-Since , la valeur de l’en-tête est la
date et l’heure
auxquelles le contenu a été crawlé pour la dernière fois. Sur la base de cette valeur, le serveur peut choisir de renvoyer un
code d’état HTTP
304 (Not Modified) sans corps de réponse, auquel cas Google
réutilisera la version du contenu qu’il a crawlée la dernière fois. Si le contenu est plus récent que la date
spécifiée par le crawler dans l’en-tête If-Modified-Since , le serveur peut renvoyer un
code d’état HTTP
200 (OK) avec le corps de réponse.

Indépendamment des en-têtes de requête, vous pouvez envoyer un
code d’état HTTP 304 (Not Modified) et aucun corps de réponse pour toute requête de Googlebot si le contenu n’a pas changé depuis
la dernière visite de Googlebot sur l’URL. Cela permettra d’économiser le temps de traitement et les ressources de votre serveur,
ce qui peut améliorer indirectement l’efficacité du crawl.

Masquez les URLs que vous ne souhaitez pas voir dans les résultats de recherche

Gaspiller des ressources de serveur sur des pages inutiles peut réduire l’activité de crawl des pages qui
sont importantes pour vous, ce qui peut entraîner un retard important dans la découverte de nouveaux contenus ou de contenus mis à jour de qualité sur un site.

Exposer de nombreuses URLs sur votre site que vous ne souhaitez pas voir crawlées par la recherche peut affecter négativement le
crawl et l’indexation d’un site. En règle générale, ces URLs appartiennent aux catégories suivantes :

• Navigation à facettes
  et identifiants de session:
  La navigation à facettes correspond généralement à du contenu en double sur le site ; les identifiants de session et
  autres paramètres d’URL qui se contentent de trier ou de filtrer la page ne fournissent pas de nouveau contenu. Découvrez comment
  gérer le crawl des pages de navigation à facettes.
• Contenu dupliqué:
  Aidez Google à identifier le contenu dupliqué pour éviter un crawl inutile.
• pages soft 404: Renvoyez un 404
  code lorsqu’une page n’existe plus.
• Pages piratées: Veillez à consulter
  le rapport sur les problèmes de sécurité et à corriger ou supprimer toutes les pages piratées que vous trouvez.
• Espaces infinis et proxys :
  Bloquez-les du crawl avec robots.txt.
• Contenu de faible qualité et spam:
  À éviter, bien évidemment.
• Pages de panier d’achat, pages à défilement infini et pages effectuant une action (telles que les pages “s’inscrire” ou “acheter maintenant”).

À faire :

• Utilisez robots.txt si vous ne souhaitez pas du tout que Google crawle une ressource ou une page.
• Si une ressource commune est réutilisée sur plusieurs pages (comme une image partagée ou un fichier JavaScript),
  référencez la ressource à partir de la même URL sur chaque page, afin que Google puisse mettre en cache et réutiliser la même ressource sans avoir à la demander plusieurs fois.

À éviter :

• N’ajoutez pas et ne supprimez pas régulièrement des pages ou des répertoires de robots.txt pour réallouer
  le budget de crawl de votre site. Utilisez robots.txt uniquement pour les pages ou les ressources que
  vous ne souhaitez pas voir apparaître sur Google à long terme.
• Ne faites pas pivoter les sitemaps et n’utilisez pas d’autres mécanismes de masquage temporaire pour réallouer le budget.

soft 404 erreurs

A soft 404 erreur est quand une URL renvoie une page qui indique à l’utilisateur que la page n’existe pas et aussi un
200 (succès)
code d’état. Dans certains cas, il peut s’agir d’une page sans contenu principal ou d’une page vide.

De telles pages peuvent être générées pour diverses raisons par le serveur web de votre site, le système de gestion de contenu ou le navigateur de l’utilisateur. Par exemple :

• Un fichier d’inclusion côté serveur manquant.
• Une connexion rompue à la base de données.
• Une page de résultats de recherche interne vide.
• Un fichier JavaScript non chargé ou manquant.

C’est une mauvaise expérience utilisateur de renvoyer un 200 (succès) code d’état, mais ensuite d’afficher ou de suggérer un message d’erreur ou une sorte d’erreur sur la page. Les utilisateurs peuvent penser que la page est une page en direct qui fonctionne, mais ils sont ensuite confrontés à une sorte d’erreur. De telles pages sont exclues de la Recherche.

Lorsque les algorithmes de Google détectent que la page est en fait une page d’erreur basée sur son contenu, la Search Console affichera une soft 404 erreur dans le
rapport d’indexation des pages.

du site. Corrigez les soft 404

erreurs Selon l'état de la page et le résultat que vous souhaitez, vous pouvez résoudre les
soft 404

• erreurs de plusieurs manières :
• La page et le contenu ne sont plus disponibles.
• La page ou le contenu est maintenant ailleurs.

La page et le contenu existent toujours.

Essayez de déterminer quelle solution serait la meilleure pour vos utilisateurs.

La page et le contenu ne sont plus disponibles
Si vous avez supprimé la page et qu'il n'y a pas de page de remplacement sur votre site avec un contenu similaire, renvoyez un 404 (non trouvé) ou
410 (disparu)

code de réponse (état) pour la page. Ces codes d’état indiquent aux moteurs de recherche que la page n’existe pas et que vous ne voulez pas que les moteurs de recherche indexent la page. 404 Si vous avez accès aux fichiers de configuration de votre serveur, vous pouvez rendre ces pages d’erreur utiles aux utilisateurs en les personnalisant. Une bonne
404 page personnalisée aide les gens à trouver les informations qu’ils recherchent et fournit également d’autres contenus utiles qui encouragent les gens à explorer davantage votre site. Voici quelques conseils pour concevoir une

• page utile :
• Dites clairement aux visiteurs que la page qu’ils recherchent ne peut pas être trouvée. Utilisez un langage amical et accueillant. 404 Assurez-vous que votre
• page a la même apparence (y compris la navigation) que le reste de votre site.
• Envisagez d’ajouter des liens vers vos articles ou publications les plus populaires, ainsi qu’un lien vers la page d’accueil de votre site.

Pensez à fournir un moyen pour les utilisateurs de signaler un lien brisé. 404 Les 404 pages personnalisées sont créées uniquement pour les utilisateurs. Étant donné que ces pages sont inutiles du point de vue d’un moteur de recherche, assurez-vous que le serveur renvoie un

code d’état HTTP

pour empêcher l’indexation des pages.
La page ou le contenu est maintenant ailleurs
Si votre page a été déplacée ou a un remplacement clair sur votre site, renvoyez un
301 (redirection permanente)
pour rediriger l’utilisateur. Cela n’interrompra pas son expérience de navigation et c’est aussi un excellent moyen d’informer les moteurs de recherche sur le nouvel emplacement de la page. Utilisez l’

outil d’inspection d’URL

pour vérifier si votre URL renvoie réellement le code correct. La page et le contenu existent toujours Si une page par ailleurs bonne a été marquée avec une
soft 404
erreur, il est probable qu’elle ne s’est pas chargée correctement pour Googlebot, qu’il manquait des ressources critiques ou qu’elle affichait un message d’erreur important pendant le rendu. Utilisez l’ outil d'inspection d'URLpour examiner le contenu rendu et le code HTTP renvoyé. Si la page rendue est vide, presque vide, ou si le contenu contient un message d’erreur, il se pourrait que votre page fasse référence à de nombreuses ressources qui ne peuvent pas être chargées (images, scripts et autres éléments non textuels), ce qui peut être interprété comme une
soft 404.

Les raisons pour lesquelles les ressources ne peuvent pas être chargées incluent des ressources bloquées (bloquées par

robots.txt

), avoir trop de ressources sur une page, diverses erreurs de serveur, ou un chargement lent ou des ressources très volumineuses.:

Gérez le crawl excessif de votre site (urgences)

Googlebot dispose d’algorithmes pour éviter de submerger votre site avec des demandes de crawl. Cependant, si vous constatez que Googlebot submerge votre site, il y a quelques choses que vous pouvez faire.:

Diagnostic

1. Surveillez votre serveur pour détecter les demandes excessives de Googlebot vers votre site. 503 Traitement 429 En cas d’urgence, nous recommandons les étapes suivantes pour ralentir un crawl écrasant de Googlebot : Renvoyez ou
2. codes d’état de réponse HTTP 503 temporairement 429 pour les demandes de Googlebot lorsque votre serveur est surchargé. Googlebot réessayera ces URL pendant environ 2 jours. Notez que renvoyer des codes de “non disponibilité” pendant plus de quelques jours amènera Google à ralentir ou à arrêter définitivement le crawl des URL sur votre site, alors suivez les étapes supplémentaires suivantes. 503 Lorsque le taux de crawl diminue, arrêtez de renvoyer 429 ou
3. codes d’état de réponse HTTP pour les demandes de crawl ; renvoyer
4. ou
   pendant plus de 2 jours amènera Google à supprimer ces URL de l’index. Surveillez votre crawl et la capacité de votre hôte au fil du temps. Si le crawler problématique est l’un des crawlers AdsBot,
   le problème est probablement que vous avez créé
   des cibles d’annonces dynamiques du Réseau de Recherche
   pour votre site que Google tente d’explorer. Cette exploration se reproduira toutes les 3 semaines. Si vous n’avez pas la capacité serveur pour gérer ces explorations, limitez vos cibles d’annonces ou augmentez votre capacité de service.