Le statut ‘Découverte – actuellement non indexée’ dans la Google Search Console indique que Googlebot a identifié votre URL mais a différé le processus de crawl. Il s’agit d’une action délibérée de Google pour gérer la demande de crawl du site et éviter la surcharge du serveur. Cela ne signifie pas nécessairement que votre site est pénalisé, mais cela suggère que le moteur perçoit le contenu de votre site comme étant de moindre priorité ou que les ressources de votre serveur sont actuellement limitées.
Pourquoi Google étiquette-t-il une URL comme découverte mais non indexée ?
Google utilise des algorithmes complexes pour gérer le flux de ressources pendant la phase de crawl. Lorsque votre page entre dans l’état découvert, le robot l’a ajoutée à la file d’attente mais n’a pas encore récupéré le contenu. Cela arrive souvent parce que le budget de crawl est épuisé ou que le système détermine que la page n’offre pas assez de valeur unique par rapport aux pages existantes indexées.
Considérez cela comme un problème d’offre et de demande. Google veut indexer votre contenu, mais il a une capacité limitée pour crawler chaque page sur le web. Si votre site a des milliers de pages de faible valeur, dupliquées ou minces, le robot pourrait dépenser son budget là-bas au lieu d’atteindre vos actifs importants. Lorsque le robot rencontre une latence serveur, il reculera immédiatement pour éviter une dégradation supplémentaire.
Un autre facteur est la force du signal de vos liens internes. Si une nouvelle page est découverte via un sitemap mais n’a aucun lien interne pointant vers elle depuis votre navigation principale ou vos pages de catégorie, Google peut la traiter comme une priorité moindre. Le système attend essentiellement plus de preuves que la page vaut l’effort d’un cycle complet de récupération et de rendu.
Comment pouvez-vous identifier la cause profonde des retards d’indexation ?
Pour résoudre ce problème, vous devez enquêter sur les barrières techniques qui entravent les robots. Nous recherchons des modèles où des sections ou des structures d’URL spécifiques sont systématiquement ignorées par le robot. Vous devriez commencer par auditer les logs de votre site pour voir à quelle fréquence Googlebot visite et s’il rencontre des erreurs 5xx ou une latence significative.
- Utilisation excessive de paramètres d’URL qui créent des milliers de chemins de contenu dupliqué.
- Temps de réponse du serveur qui fluctuent, provoquant le recul du robot.
- Mauvaise architecture de maillage interne qui enterre le nouveau contenu profondément dans la hiérarchie du site.
- Pages de contenu de faible qualité ou minces qui ne répondent pas aux normes d’indexation de base.
Lors de l’analyse de votre site, recherchez des clusters d’URL affectés. Proviennent-ils tous d’un répertoire spécifique ? Partagent-ils tous le même modèle ? Souvent, le problème n’est pas la page individuelle, mais un problème systémique avec le modèle ou la façon dont le site gère la navigation à facettes. Si le robot trouve des milliers de variantes d’une page produit, il cessera d’indexer ces variantes pour économiser des ressources.
Comment Alien Road applique cela pour nos clients
Chez Alien Road, notre équipe aborde cela en examinant les logs serveur pour voir comment Googlebot interagit avec votre site. Nous ne devinons pas ; nous utilisons des données factuelles issues des rapports de crawl pour déterminer si le problème est un goulot d’étranglement technique ou un signal de qualité de contenu. Par exemple, lors d’une mission typique pour un client e-commerce, nous identifions que le robot gaspille des ressources sur des URL générées par des filtres.
Nous mettons ensuite en œuvre une stratégie pour consolider les pages minces et améliorer la structure de maillage interne pour diriger le robot vers les actifs à haute priorité. Nous pourrions utiliser des balises canoniques pour pointer les doublons vers une page parente, garantissant que le robot se concentre sur la version qui compte. Ce chemin clair aide le robot à comprendre quelles pages sont primaires, réduisant la longueur de la file d’attente ‘découverte’.
Sans ces modèles, le robot peut manquer des données critiques, laissant votre contenu invisible dans les résultats de recherche.
Google Search Central
Votre structure de site est-elle optimisée pour un crawl efficace ?
Un crawl efficace repose sur une structure propre et logique. Si vos URL sont orphelines ou liées uniquement depuis des pages profondes, Google est moins susceptible de leur donner la priorité. Nous recommandons une structure plate où les pages essentielles sont accessibles en trois clics depuis la page d’accueil. Cela augmente la visibilité de la ‘profondeur de crawl’ pour le robot.
- Auditez votre sitemap XML pour vous assurer qu’il ne contient que des URL canoniques et indexables.
- Utilisez robots.txt pour empêcher le robot de perdre du temps sur des chemins administratifs non pertinents.
- Vérifiez que votre serveur gère les requêtes simultanées sans atteindre des pics de latence.
- Mettez à jour les liens internes pour vous assurer que le nouveau contenu est correctement référencé depuis des pages à haute autorité.
Considérez comment votre sitemap XML est organisé. S’il inclut des milliers de pages anciennes, redirigées ou non canoniques, vous envoyez des signaux mitigés au robot. En gardant votre sitemap élagué et précis, vous fournissez une feuille de route claire pour le moteur. De même, s’assurer que votre menu de navigation est construit avec des liens HTML standard permet au robot d’atteindre chaque section de votre site sans dépendre d’événements JavaScript complexes.
Amélioration de la fiabilité du serveur
Si votre serveur est lent, Googlebot crawlera moins de pages pour protéger votre site contre les plantages. L’amélioration de vos temps de réponse entraîne souvent une augmentation immédiate du taux de crawl. Cela garantit que lorsque le moteur revient pour découvrir du nouveau contenu, il trouve un environnement stable et réactif. Nous recherchons des pics de temps de réponse pendant les heures de pointe qui pourraient coïncider avec l’activité de crawl.
Quelles étapes devez-vous suivre cette semaine ?
Commencez par exporter la liste des URL affectées depuis la Search Console. Comparez-les avec votre sitemap pour vérifier s’il s’agit réellement de pages importantes. Si vous trouvez des pages de faible valeur, utilisez une balise noindex pour les supprimer de la file d’attente, permettant au robot de se concentrer sur les pages qui stimulent réellement vos objectifs commerciaux. Il s’agit d’une tâche de maintenance récurrente pour tout site en croissance.
Vérifiez votre maillage interne pour détecter les ‘impasses’ où le contenu est découvert mais n’a aucun lien sortant. Assurez-vous que vos articles les plus récents et à haute valeur sont liés directement depuis votre page d’accueil ou une page de catégorie principale. En fournissant un chemin clair, vous augmentez la probabilité que Google priorise ces URL pour l’indexation lors du prochain cycle de crawl.