Tout sur Googlebot

Samedi 19 août 2006

J’ai vu beaucoup de questions récemment concernant les fichiers robots.txt et le comportement de Googlebot. La semaine dernière à la conférence SES, j’ai pris la parole lors d’un nouveau panel intitulé
le cours d’obéissance des bots. Et il y a quelques jours, d’autres Googlers et moi-même avons répondu aux questions sur
les forums WebmasterWorld. Voici quelques-unes des questions que nous avons reçues :

Si mon site est en maintenance, comment puis-je dire à Googlebot de revenir plus tard au lieu d’indexer la page « en maintenance » ?
Vous devez configurer votre serveur pour qu’il renvoie un
statut de
503 (réseau indisponible) plutôt que 200 (réussi). Cela indique à Googlebot de réessayer d’accéder aux pages plus tard.

Que dois-je faire si Googlebot crawle trop mon site ? Vous pouvez
nous contacter
— nous travaillerons avec vous pour veiller à ne pas saturer la bande passante de votre serveur. Nous testons actuellement une fonctionnalité dans nos Outils pour webmasters qui vous permet de donner votre avis sur votre vitesse de crawl, et nous avons reçu d’excellents retours jusqu’à présent, nous espérons donc la proposer à tout le monde bientôt.

Est-il préférable d’utiliser la balise meta robots ou un fichier robots.txt ? Googlebot respecte les deux, mais les
balises meta

s’appliquent uniquement aux pages individuelles. Si vous avez plusieurs pages que vous souhaitez exclure du crawl, vous pouvez structurer votre site de manière à pouvoir facilement utiliser un fichier robots.txt pour bloquer ces pages (par exemple, placer les pages dans un seul répertoire).
Si mon fichier robots.txt contient une règle pour tous les bots ainsi qu’une règle spécifique pour Googlebot, comment Googlebot interprète-t-il la ligne adressée à tous les bots ?

Si votre fichier robots.txt contient une règle globale plus une règle spécifique pour Googlebot, Googlebot respecte les lignes qui lui sont spécifiquement destinées. Par exemple, pour ce fichier robots.txt :

Googlebot crawlera tout le site à l’exception des pages du répertoire cgi-bin.

Pour ce fichier robots.txt :

Googlebot ne will crawl no pages of the site.
Si vous ne savez pas comment Googlebot interprétera votre fichier robots.txt, vous pouvez utiliser notre
outil d’analyse robots.txt

pour le tester. Vous pouvez également tester la manière dont Googlebot interprétera les modifications apportées au fichier. Pour des informations complètes sur la façon dont Googlebot et les autres agents utilisateurs de Google traitent les fichiers robots.txt, consultez notre.