Nous avons corrigé quelques points

13 février 2006

Nous venons de résoudre quelques problèmes que les membres de notre
Google Group
ont portés à notre attention.

Majuscules et minuscules dans les lignes robots.txt

Notre outil d’analyse robots.txt n’interprétait pas correctement les lignes contenant des majuscules. C’est désormais corrigé. Tous les résultats avec des URL contenant des majuscules sont traités correctement. Notez que dans un fichier robots.txt, la casse des règles n’a pas d’importance. Par exemple, Disallow: et disallow: sont interprétés de la même manière. Cependant, la casse des URL a de l’importance. Ainsi, pour le fichier robots.txt suivant :

https://www.example.com/Myfile.html est bloqué. Mais
https://www.example.com/myfile.html n’est pas bloqué.

User-agents Google autres que Googlebot

Notre outil d’analyse robots.txt ne traitait pas correctement les fichiers robots.txt pour les user-agents Google autres que Googlebot. C’est désormais corrigé. Les user-agents Google pour lesquels nous fournissons des analyses sont :

• Googlebot-Mobile : explore les pages pour notre
  index mobile
• Googlebot-Image : explore les pages pour notre
  index des images
• Googlebot-MediaPartners : explore les pages pour déterminer
  le contenu AdSense (utilisé uniquement
  si vous diffusez des annonces AdSense sur votre site)

Fichiers robots.txt avec des caractères initiaux supplémentaires

Certains fichiers robots.txt contiennent des caractères supplémentaires avant le début de la première règle. Certains éditeurs de texte placent ces caractères dans le fichier, mais vous ne pouvez pas les voir avec l’éditeur. Lorsque l’outil a traité ces caractères, il a signalé une erreur de syntaxe. L’outil imite désormais le comportement de Googlebot et ignore ces caractères supplémentaires.

Majuscules et minuscules dans les URL du site

Lorsque vous ajoutez un site, nous convertissons désormais toutes les lettres de la partie domaine de l’URL en minuscules, quelle que soit la manière dont vous avez saisi les lettres. Par exemple, si vous saisissez
https://www.Example.com/, nous le convertissons en
https://www.example.com/ dans votre compte. Cela s’applique uniquement au domaine, donc par exemple, si vous ajoutez https://www.Example.com/MySite/, nous le convertirons en
https://www.example.com/MySite/. Si vous avez ajouté des sites à votre compte en utilisant des majuscules, vous remarquerez que les parties du domaine ont été converties en minuscules. Nous avons apporté ce mineur changement dans le cadre de nos efforts pour veiller à ce que vous voyiez toutes les statistiques disponibles pour votre site.

Publié par Vanessa Fox