Les sujets de cette section décrivent comment vous pouvez contrôler la capacité de Google à trouver et à analyser votre contenu afin de l’afficher dans la Recherche et d’autres propriétés Google, ainsi que comment empêcher Google de crawler du contenu spécifique sur votre site.
Voici une brève description de chaque page. Pour obtenir un aperçu du crawl et de l’indexation, lisez notre guide sur le fonctionnement de la Recherche.
Types de fichiers indexables par Google
Google peut indexer le contenu de la plupart des types de pages et de fichiers. Les types de fichiers les plus courants que nous indexons incluent :
Texte (.txt, .text, autres extensions de fichier), y compris le code source dans les langages de programmation courants : Code source de base (.bas)
Recherche par type de fichier
Vous pouvez utiliser l’opérateur filetype: dans la Recherche Google pour limiter les résultats à un type de fichier spécifique. Par exemple, filetype:rtf galway recherchera les fichiers RTF contenant le terme « galway ».
Maintenez une structure d’URL simple
La structure d’URL d’un site doit être aussi simple que possible. Pensez à organiser votre contenu de manière à ce que les URL soient construites de manière logique et la plus intelligible possible pour les humains.
Recommandé : Utilisez l’encodage UTF-8 si nécessaire. Par exemple, l’exemple suivant utilise l’encodage UTF-8 pour les caractères arabes dans l’URL :
Si votre site est multirégional, envisagez d’utiliser une structure d’URL qui facilite le GEO-ciblage de votre site. Pour plus d’exemples sur la façon dont vous pouvez structurer vos URL, reportez-vous à l’utilisation d’URL spécifiques à la locale.
Pensez à utiliser des traits d’union pour séparer les mots dans vos URL, car cela aide les utilisateurs et les moteurs de recherche à identifier plus facilement les concepts dans l’URL. Nous vous recommandons d’utiliser des traits d’union ( – ) plutôt que des traits de soulignement ( _ ) dans vos URL.
Les URL trop complexes, en particulier celles contenant plusieurs paramètres, peuvent causer des problèmes aux crawlers en créant un nombre inutilement élevé d’URL pointant vers un contenu identique ou similaire sur votre site. En conséquence, Googlebot peut consommer beaucoup plus de bande passante que nécessaire, ou peut être incapable d’indexer complètement tout le contenu de votre site.
Causes courantes de ce problème
Filtrage additif d’un ensemble d’éléments. De nombreux sites proposent différentes vues du même ensemble d’éléments ou résultats de recherche, permettant souvent à l’utilisateur de filtrer cet ensemble à l’aide de critères définis (par exemple : montrez-moi les hôtels sur la plage). Lorsque les filtres peuvent être combinés de manière additive (par exemple : hôtels sur la plage et avec un centre de fitness), le nombre d’URL (vues de données) sur les sites explose. Créer un grand nombre de listes d’hôtels légèrement différentes est redondant, car Googlebot n’a besoin de voir qu’un petit nombre de listes à partir desquelles il peut atteindre la page de chaque hôtel. Par exemple : Propriétés hôtelières à « tarifs avantageux » :https://www.example.com/hotel-search-results.jsp?Ne=292&N=461
Génération dynamique de documents. Cela peut entraîner de petits changements en raison de compteurs, d’horodatages ou de publicités.
Paramètres problématiques dans l’URL. Les ID de session, par exemple, peuvent créer des quantités massives de doublons et un plus grand nombre d’URL.
Paramètres de tri. Certains grands sites marchands proposent plusieurs façons de trier les mêmes articles, ce qui entraîne un nombre beaucoup plus important d’URL. Par exemple :https://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance&search_category=25
Problèmes de calendrier. Un calendrier généré dynamiquement pourrait générer des liens vers des dates futures et passées sans restrictions sur les dates de début ou de fin. Par exemple :https://www.example.com/calendar.php?d=13&m=8&y=2011
Liens relatifs brisés. Les liens relatifs brisés peuvent souvent causer des espaces infinis. Fréquemment, ce problème survient en raison d’éléments de chemin répétés. Par exemple :https://www.example.com/index.shtml/discuss/category/school/061121/html/interview/category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm
Résolvez ce problème
Envisagez d’utiliser un fichier robots.txt pour bloquer l’accès de Googlebot aux URL problématiques. En règle générale, envisagez de bloquer les URL dynamiques, telles que les URL qui génèrent des résultats de recherche, ou les URL qui peuvent créer des espaces infinis, comme les calendriers. L’utilisation d’expressions régulières dans votre fichier robots.txt peut vous permettre de bloquer facilement un grand nombre d’URL.
Si votre site possède un calendrier infini, ajoutez un attribut nofollow aux liens vers les pages de calendrier futures créées dynamiquement.
Service associé: Agence marketing IA