Screaming Frog est un crawler de sites web qui vous aide à améliorer le SEO onsite en extrayant des données et en auditant les problèmes SEO courants tels que les liens brisés et les chaînes de redirection. Cette application de bureau agit comme un pont entre votre machine locale et le serveur d’un site web, offrant une vue granulaire de la façon dont les bots des moteurs de recherche interprètent la structure et le contenu de votre site. En utilisant cet outil, les praticiens SEO peuvent rapidement identifier les barrières techniques qui empêchent une indexation et un classement efficaces dans les pages de résultats des moteurs de recherche.
Configurer votre premier crawl dans Screaming Frog
Pour commencer votre audit technique, vous devez d’abord configurer le logiciel pour gérer l’échelle spécifique de votre site web. Après l’installation, le mode par défaut est le mode Spider, qui vous permet de saisir une URL racine et de laisser le logiciel suivre chaque lien interne qu’il trouve. Pour un site e-commerce typique avec des milliers de pages produits, vous devez d’abord vérifier vos paramètres de mémoire. Naviguez vers Configuration > System > Memory pour vous assurer que le logiciel peut utiliser suffisamment de RAM pour stocker les données de crawl sans planter. La plupart des ordinateurs modernes peuvent gérer 4 Go à 8 Go pour des sites de taille moyenne, mais les domaines plus grands peuvent nécessiter 16 Go ou plus pour terminer le processus.
Une fois votre mémoire allouée, entrez l’adresse de votre site web dans la case ‘Enter URL to spider’ en haut de l’interface. Avant de cliquer sur démarrer, il est courant de revoir la configuration de Spider sous le menu Configuration. Ici, vous pouvez décider si vous souhaitez crawler les images, les fichiers CSS et JavaScript. Bien que le crawl de ces ressources fournisse une image plus complète du processus de chargement de la page, il augmente également le temps et la mémoire requis pour le crawl. Si votre objectif est une vérification rapide des codes d’état et des titres, vous pouvez les désactiver pour accélérer la phase initiale de collecte de données.
Comment configurer l’araignée pour un crawl complet ?
Un audit technique complet nécessite que l’araignée regarde au-delà des simples liens HTML. Dans le menu Configuration > Spider, vous devez activer l’option ‘Crawl All Subdomains’ si votre site utilise divers préfixes comme ‘blog.example.com’ ou ‘shop.example.com’. Cela garantit que l’araignée ne s’arrête pas à la limite du domaine principal. De plus, vous devez cocher la case ‘Crawl Outside Start Folder’ si vous démarrez le crawl à partir d’un sous-dossier spécifique mais que vous souhaitez voir comment il se connecte au reste de l’architecture du site. Ces paramètres sont fondamentaux pour capturer l’étendue complète de l’environnement de liens internes d’un domaine.
Un autre paramètre avancé concerne le rendu JavaScript. De nombreux sites web modernes construits sur des frameworks comme React ou Angular n’affichent pas de contenu tant que JavaScript n’est pas exécuté. Si vous crawlez ces sites en utilisant le mode par défaut ‘Text Only’, l’araignée verra une page vide. Pour corriger cela, allez dans Configuration > Spider > Rendering et sélectionnez ‘JavaScript’ dans le menu déroulant. Cela indique à Screaming Frog d’utiliser un navigateur Chrome intégré pour rendre les pages, lui permettant de trouver des liens et du contenu qui resteraient autrement cachés d’un crawler de base. C’est souvent la différence entre un audit réussi et un échec pour les applications web modernes.
Identifier les liens brisés et les problèmes de redirection
L’une des principales utilisations de ce logiciel est l’identification des erreurs 404 et des chaînes de redirection. Une fois le crawl terminé, ou même pendant qu’il s’exécute, vous pouvez cliquer sur l’onglet ‘Response Codes’ pour voir une liste de chaque URL et son état. Filtrer par ‘Client Error (4xx)’ vous montrera immédiatement chaque lien brisé sur le site. Cependant, voir l’URL brisée n’est que la moitié de la bataille ; vous devez savoir où ces liens sont situés. En sélectionnant une URL 404 dans la fenêtre supérieure et en cliquant sur l’onglet ‘Inlinks’ en bas, le logiciel affiche chaque page qui pointe vers cette ressource brisée, ce qui facilite la recherche et la mise à jour du code source.
Les chaînes de redirection sont un autre problème courant qui affecte à la fois l’expérience utilisateur et l’efficacité du crawl. Une chaîne de redirection se produit lorsque l’URL A pointe vers l’URL B, qui pointe ensuite vers l’URL C. Cela crée une latence inutile et consomme plus de budget de crawl. Pour les trouver, allez dans Reports > Redirects > Redirect Chains après la fin de votre crawl. Ce rapport fournit une carte claire de chaque ‘saut’ dans une séquence de redirection. Chez Alien Road, nous suggérons de les résoudre en mettant à jour le lien initial pour qu’il pointe directement vers la destination finale, ce qui simplifie le chemin pour les utilisateurs et les crawlers des moteurs de recherche.
Quelles sont les erreurs de métadonnées les plus courantes à trouver ?
- Titres de page en double qui confondent les moteurs de recherche sur la page la plus pertinente.
- Méta-descriptions manquantes qui conduisent à des extraits générés automatiquement dans les résultats de recherche.
- Titres de page de plus de 60 caractères ou 568 pixels qui sont tronqués dans les SERP.
- Plusieurs balises H1 sur une seule page, ce qui peut diluer l’objectif thématique principal.
- Texte alternatif manquant sur les images, réduisant l’accessibilité et le potentiel de recherche d’images.
Les onglets ‘Page Titles’ et ‘Meta Description’ dans le logiciel sont conçus pour mettre en évidence ces problèmes grâce à des filtres intégrés. Par exemple, vous pouvez utiliser le filtre ‘Over 60 Characters’ dans l’onglet Page Titles pour identifier chaque page où votre titre pourrait être coupé dans les résultats de recherche Google. De même, le filtre ‘Duplicate’ aide à identifier les cas où vous pourriez avoir accidentellement utilisé le même titre pour différentes variantes de produits. La correction de ces problèmes de métadonnées est une tâche prioritaire car elle influence directement le taux de clics depuis les moteurs de recherche vers votre site web.
Analyser l’architecture du site et la profondeur de crawl
La profondeur de crawl fait référence au nombre de clics nécessaires pour atteindre une page depuis la page d’accueil. Dans l’onglet ‘Internal’, la colonne ‘Crawl Depth’ fournit ces données pour chaque URL. En général, le contenu important devrait être accessible en trois clics ou moins. Si vous constatez que des pages de conversion critiques ont une profondeur de crawl de cinq ou six, cela indique une mauvaise structure de liens internes. Cela peut entraîner une indexation moins fréquente de ces pages ou une perception de moindre importance par les algorithmes des moteurs de recherche. Vous pouvez utiliser l’onglet ‘Site Structure’ dans la fenêtre de droite pour voir une répartition visuelle de la façon dont vos pages sont réparties sur les différents niveaux du site.
Les visualisations sont également un moyen puissant d’expliquer les problèmes architecturaux aux parties prenantes. Sous le menu ‘Visualisations’, vous pouvez choisir ‘Crawl Tree Graph’ ou ‘Force-Directed Directory Tree Diagram’. Ces cartes interactives montrent les relations entre les dossiers et les pages. Un diagramme désordonné ou trop complexe met souvent en évidence un manque de catégorisation logique. Par exemple, si un article de blog est enterré sous cinq sous-répertoires, la visualisation montrera une longue branche fine s’étendant depuis le centre. Cette preuve visuelle est souvent plus convaincante qu’une feuille de calcul lors de la recommandation d’une refonte de la structure du site.
Comment pouvez-vous utiliser Screaming Frog pour une migration de site ?
Lors d’une migration de site, s’assurer que les anciennes URL redirigent correctement vers les nouvelles est la tâche la plus importante pour maintenir les classements SEO. Vous pouvez utiliser le ‘List Mode’ dans Screaming Frog pour tester votre carte de redirection. Au lieu de crawler un site en direct, changez le mode en ‘List’ sous le menu Mode et téléchargez un fichier texte ou CSV contenant vos anciennes URL. Avant de commencer le crawl, allez dans Configuration > Spider > Advanced et assurez-vous que ‘Always Follow Redirects’ est coché. Une fois que vous exécutez le crawl, le logiciel vous montrera la destination finale pour chaque ancienne URL et le code d’état rencontré en cours de route.
Ce processus vous permet de vérifier des centaines de redirections en quelques secondes. Vous pouvez comparer la colonne ‘Address’ (l’ancienne URL) avec la colonne ‘Redirect URL’ (la nouvelle URL) pour vous assurer qu’elles correspondent à votre carte de redirection prévue. Si vous voyez des erreurs 404 dans la liste, cela signifie que la redirection n’a pas été implémentée correctement ou que la page de destination est manquante. Ce test proactif empêche la perte de trafic organique qui se produit généralement lorsqu’une migration est gérée sans vérification technique rigoureuse. C’est une procédure standard pour toute agence gérant une transition de domaine ou un changement majeur de structure d’URL.
Intégrer les données API pour des audits complets
Screaming Frog devient encore plus efficace lorsque vous le connectez à des sources de données externes. En naviguant vers Configuration > API Access, vous pouvez lier le logiciel à Google Analytics, Google Search Console et PageSpeed Insights. Cela vous permet de voir les données de crawl parallèlement aux métriques de performance. Par exemple, vous pouvez identifier les pages qui ont une profondeur de crawl élevée mais qui reçoivent également une quantité significative de trafic organique depuis la Search Console. Ce sont des candidats de choix pour une meilleure liaison interne car ils fonctionnent déjà bien malgré le fait qu’ils soient enterrés dans l’architecture du site.
La connexion de l’API PageSpeed Insights est particulièrement utile pour auditer les Core Web Vitals. Le logiciel récupérera des métriques comme Largest Contentful Paint (LCP) et Cumulative Layout Shift (CLS) pour chaque URL de votre crawl. Au lieu de vérifier les pages une par une dans un navigateur, vous obtenez un rapport groupé montrant quelles sections de votre site ne respectent pas le seuil LCP de 2,5 secondes. Cette approche basée sur les données vous permet de prioriser les correctifs techniques pour les modèles ou types de pages spécifiques qui tirent vers le bas les performances globales de votre site et les scores d’expérience utilisateur.
Extraction personnalisée pour des besoins de données spécifiques
Parfois, vous devez auditer des données qui ne font pas partie des balises SEO standard, comme le statut des stocks, le prix ou les noms des auteurs. La fonction Custom Extraction vous permet d’utiliser XPath, CSS Path ou Regex pour extraire du texte spécifique du HTML de vos pages. Par exemple, si vous voulez vous assurer que tous les articles de blog ont un balisage d’auteur spécifique, vous pouvez identifier la classe CSS utilisée pour le nom de l’auteur et configurer un extracteur dans Configuration > Custom > Extraction. Pendant le crawl, le logiciel créera une nouvelle colonne pour ces données, vous permettant de voir en un coup d’œil quelles pages manquent d’informations.
Ceci est également utile pour auditer l’implémentation des données structurées. Bien qu’il existe un onglet dédié aux données structurées, l’extraction personnalisée peut être utilisée pour vérifier deux fois que des valeurs spécifiques dans votre balisage Schema.org sont correctes sur des milliers de pages. Si un site e-commerce a un champ ‘Price’ dans son JSON-LD, vous pouvez extraire cette valeur et la comparer avec le prix visible sur la page pour assurer la cohérence. Ce niveau de détail aide à prévenir les problèmes avec Google Merchant Center ou les affichages d’extraits enrichis qui reposent sur des données précises et cohérentes sur l’ensemble du domaine.
Par où commencer cette semaine
- Téléchargez la version gratuite ou obtenez la licence de la version complète de Screaming Frog et exécutez un crawl de base de votre domaine.
- Vérifiez l’onglet ‘Response Codes’ et exportez toutes les erreurs 4xx pour identifier les liens brisés qui nécessitent une correction immédiate.
- Naviguez vers l’onglet ‘Page Titles’ et filtrez les doublons pour résoudre la concurrence interne entre des pages similaires.
- Connectez l’API Google Search Console pour identifier les pages qui sont indexées mais qui reçoivent zéro clic au cours des 90 derniers jours.
- Utilisez la fonction ‘Crawl Analysis’ sous le menu ‘Crawl Analysis’ pour calculer le score de lien et le PageRank interne.
En suivant ces étapes, vous passerez d’une compréhension superficielle de votre site à une connaissance technique approfondie de son fonctionnement. Le crawl régulier est une habitude qui garantit que les petites erreurs ne se transforment pas en problèmes d’indexation majeurs. Commencez par les erreurs les plus critiques (liens brisés et boucles de redirection) avant de passer à des optimisations plus complexes comme l’architecture du site et les améliorations des Core Web Vitals.
Continuer la lecture : SEO (référencement naturel) · SEO