Simplification de l'élément URL visible dans les résultats de recherche mobile | Alien Road

Les internautes sur mobile verront bientôt un aspect plus épuré et plus fluide pour l’affichage des URL dans les résultats de recherche.

Rappel sur les robots : introduction d’une nouvelle série Lundi 24 février 2025De temps en temps, nous recevons des questions sur robots.txt, les balises meta robots et la

fonctionnalité de contrôle

qu’ils offrent. Suite à notre

A “série de décembre sur le crawling, nous avons pensé que c’était le moment idéal pour préparer un léger rappel. Alors, si ces contrôles vous curiostent, suivez cette nouvelle série d’articles de blog ! Commençons par le tout début, avec robots.txt.Alors, qu’est-ce que robots.txt ? robots.txt est un fichier que n’importe quel site Web peut fournir. Sous sa forme la plus simple, c’est un fichier texte stocké sur le serveur. Presque tous les sites Web ont un fichier robots.txt.

. Pour en consulter un, prenez le nom de domaine et ajoutez

/robots.txt

à la fin, puis naviguez vers cette adresse. Par exemple, le fichier robots.txt de ce site Web se trouve à

developers.google.com/robots.txt .
La plupart des sites Web utilisent des systèmes de gestion de contenu (CMS) qui créent ces fichiers automatiquement, mais même si vous créez votre site Web “à la main”, il est facile à créer. Nous examinerons certaines des variations dans les prochains articles.

À quoi servent ces fichiers ?

Les fichiers robots.txt indiquent aux robots d’indexation du Web quelles parties d’un site Web sont accessibles pour un accès automatisé (que nous appelons le crawling) et lesquelles ne le sont pas. Il permet aux sites de gérer l’ensemble de leur site, des parties de leur site ou même des fichiers spécifiques au sein de leur site. En plus d’être lisibles par machine, les fichiers sont également lisibles par l’homme. Cela signifie qu’il y a toujours une réponse claire par oui ou par non quant à savoir si l’accès à une page de manière automatisée par un robot d’indexation spécifique est autorisé ou non.
C’est une pratique courante pour quiconque crée un robot d’indexation de suivre ces directives, et il est facile pour un développeur de les prendre en charge — il existe plus de
1000 bibliothèques open source
disponibles pour les développeurs. Le fichier donne des instructions aux robots d’indexation pour un crawling optimal d’un site Web. Les sites Web modernes peuvent être complexes, y naviguer automatiquement peut être difficile, et les règles robots.txt aident les robots d’indexation à se concentrer sur le contenu approprié. Cela aide également les robots d’indexation à éviter les pages générées dynamiquement qui pourraient surcharger le serveur et rendre le crawling inutilement inefficace. Étant donné que les fichiers robots.txt sont à la fois techniquement utiles et bénéfiques pour les relations avec les propriétaires de sites Web, la plupart des opérateurs de robots d’indexation commerciaux les suivent.
Construit et étendu par le public

Les fichiers robots.txt existent presque depuis aussi longtemps que l’Internet existe, et c’est l’un des outils essentiels qui permettent à Internet de fonctionner tel qu’il le fait. Le HTML, la base des pages Web, a été inventé en 1991, les premiers navigateurs sont arrivés en 1992 et robots.txt est arrivé en 1994. Cela signifie qu’ils datent d’avant même Google, qui a été fondé en 1998. Le format est resté globalement inchangé depuis, et

un fichier des premiers jours

serait toujours valide aujourd’hui. Grâce à trois ans d’engagement de la communauté mondiale, il a été érigé en norme proposée par l’IETF
en 2022.

Si vous avez un site Web, il y a de fortes chances que vous ayez également un fichier robots.txt. Il existe une communauté dynamique et active autour de robots.txt, il y a des milliers d’outils logiciels qui aident à créer, tester, gérer ou comprendre les fichiers robots.txt sous toutes leurs formes et tailles. La beauté de robots.txt, cependant, est que vous n’avez pas besoin d’outils sophistiqués ; il est possible de lire le fichier dans un navigateur et, pour un site Web que vous gérez, de l’ajuster dans un simple éditeur de texte.

Perspectives d’avenir…

Le format robots.txt est flexible. Il y a de la place pour la croissance, la communauté Web publique peut l’étendre et les robots d’indexation peuvent annoncer des extensions le cas échéant, sans perturber l’utilisation existante. Cela s’est produit en 2007, lorsqueles moteurs de recherche ont annoncé la directive “sitemap”

. Cela se produit également régulièrement à mesure que de nouveaux “user-agents” sont pris en charge par les opérateurs de robots d’indexation et les moteurs de recherche, tels que ceux utilisés à des fins d’AI.