Premier rendez-vous avec le Googlebot : En-têtes et compression

Jeudi 6 mars 2008

Nom / User-Agent: Googlebot
Adresse IP:
Apprenez à vérifier le Googlebot
À la recherche de: Sites Web dotés de contenus uniques et captivants
Ce qui rebute le plus: Violations des
Consignes aux webmestres
Googlebot — quel beau parti. On dirait
qu’il nous connaît <head>, <body>, corps et âme. Il ne cherche probablement
rien d’exclusif ; il voit des milliards d’autres sites (bien que nous partagions nos données
avec d’autres robots également), mais ce soir, nous allons vraiment apprendre à nous connaître en tant que site Web et robot d’indexation.

Je sais, il ne faut jamais trop analyser un premier rendez-vous. Nous allons apprendre à connaître le Googlebot un peu
plus lentement, dans une série d’articles :

1. Notre premier rendez-vous (ce soir !) : En-têtes envoyés par le Googlebot, formats de fichiers qu’il « remarque », s’il est
   préférable de compresser les données
2. Juger de sa réaction : Codes de réponse (301, 302), comment il gère
   les redirections et If-Modified-Since
3. Prochaines étapes : Suivre des liens, le faire explorer plus rapidement ou plus lentement (pour qu’il ne se montre pas trop
   pressant)

Et ce soir, c’est juste le premier rendez-vous…

Googlebot : ACK

Site Web : Googlebot, tu es là !

Googlebot : J’y suis.

Site Web : Ces en-têtes sont si voyants ! Explorerais-tu avec les mêmes en-têtes si mon site
était aux États-Unis, en Asie ou en Europe ? Utilises-tu parfois des en-têtes différents ?

Googlebot : Mes en-têtes sont généralement cohérents dans le monde entier. J’essaie de voir à quoi ressemble
une page pour la langue et les paramètres par défaut du site. Parfois, le
User-Agent est différent, par exemple, les requêtes AdSense utilisent
Mediapartners-Google:

Ou pour la recherche d’images :

Les requêtes sans fil ont souvent des user-agents spécifiques à l’opérateur, tandis que les requêtes RSS de Google Reader
incluent des informations supplémentaires telles que le nombre d’abonnés.

J’évite généralement les cookies (donc pas d’en-tête Cookie: ) car je ne veux pas que le contenu
soit trop affecté par des informations spécifiques à la session. Et si un serveur utilise un ID de session dans une URL dynamique
plutôt qu’un cookie, je peux généralement le découvrir, afin de ne pas finir par explorer
votre même page un million de fois avec un million d’ID de session différents.

Site Web : Je suis très complexe. J’ai de nombreux types de fichiers. Vos en-têtes indiquent
Accept: */*. Indexez-vous toutes les URL ou certaines extensions de fichiers sont-elles automatiquement filtrées ?

Googlebot : Cela dépend de ce que je cherche. Si j’indexe pour la recherche Web normale
et que je vois des liens vers des MP3 et des vidéos, je ne les téléchargerai probablement pas. De même, si je vois un JPG, je
le traiterai différemment d’un lien HTML ou PDF. Par exemple, un JPG a beaucoup moins de chances
de changer fréquemment qu’un fichier HTML, je vérifierai donc les modifications du JPG moins souvent pour économiser de la bande passante.
Pendant ce temps, si je cherche des liens en tant que Google Scholar, je serai beaucoup plus intéressé par
l’article PDF que par le fichier JPG. Télécharger des doodles (comme des JPG) et des vidéos de chiens en skateboard
distrait un universitaire — n’êtes-vous pas d’accord ?

Website : Oui, cela peut distraire. Je suis en admiration devant votre dévouement. J’adore les doodles (JPG)
et j’ai du mal à y résister.

Googlebot : Moi aussi ; je ne suis pas toujours aussi universitaire. Lorsque j’explore pour la recherche d’images, je m’intéresse beaucoup
aux JPG. Et pour l’actualité, je regarde principalement le HTML et les images à proximité.

Il y a aussi beaucoup d’extensions (exe, dll, zip, dmg…) qui ont tendance à être lourdes et moins utiles
pour un moteur de recherche.

Site Web : Si tu voyais mon URL, https://www.example.com/page1.LOL111, la rejeterais-tu
(en pleurnichant) simplement parce qu’elle contient une extension de fichier inconnue ?

Googlebot : Site Web, laissez-moi vous donner un peu plus de contexte. Après avoir effectivement téléchargé un fichier,
j’utilise l’en-tête Content-Type pour vérifier s’il s’agit vraiment de HTML, d’une image, de texte ou
d’autre chose. S’il s’agit d’un type de données spécial comme un fichier PDF, un document Word ou une feuille de calcul Excel,
je m’assure qu’il est au format valide et j’en extrais le contenu textuel. Peut-être qu’il contient un virus ;
on ne sait jamais. Si le document ou le type de données est vraiment illisible, il n’y a généralement pas grand-chose à faire à part
rejeter le contenu.

Donc, si j’explore https://www.example.com/page1.LOL111 avec une extension de fichier inconnue,
il est probable que je commence à le télécharger. Si je ne parviens pas à déterminer le type de contenu
à partir de l’en-tête, ou s’il s’agit d’un format que nous n’indexons pas (par exemple, mp3), il sera mis de côté.
Sinon, nous continuons à indexer le fichier.

Site Web : Mes excuses pour avoir scruté votre style, Googlebot, mais j’ai remarqué que vos en-têtes
Accept-Encoding indiquent :

Pouvez-vous m’expliquer ces en-têtes ?

Googlebot : Bien sûr. Tous les grands moteurs de recherche et navigateurs Web prennent en charge la compression gzip pour
le contenu afin d’économiser de la bande passante. D’autres entrées que vous pourriez voir ici incluent x-gzip (le
même que gzip), deflate (que nous prenons également en charge), et
identity (aucun).

Site Web : Pouvez-vous parler davantage de la compression de fichiers et
Accept-Encoding: gzip,deflate? Bon nombre de mes URL consistent en de gros fichiers Flash et des images époustouflantes, pas seulement du HTML. Cela vous aiderait-il à explorer plus rapidement si je compressais mes fichiers plus volumineux ?

Googlebot: Il n’y a pas de réponse simple à cette question. Tout d’abord, de nombreux formats de fichiers, tels que swf (Flash), jpg, png, gif et pdf, sont déjà compressés (il existe également des optimiseurs Flash spécialisés).

Site web: Peut-être que je compressais mes fichiers Flash sans même le savoir ? Je suis manifestement très efficace.

Googlebot: Apache et IIS disposent tous deux d’options pour activer la compression gzip et deflate, bien qu’il y ait un coût en matière de processeur (CPU) pour la bande passante économisée. En règle générale, elle n’est activée que pour le contenu textuel HTML/CSS/PHP facilement compressible. Et elle n’est utilisée que si le navigateur de l’utilisateur ou moi-même (un robot d’indexation de moteur de recherche) le permettons. Personnellement, je préfère gzip à deflate. Gzip est un encodage légèrement plus robuste — il y a systématiquement une somme de contrôle et un en-tête complet, ce qui me laisse moins de devinettes qu’avec deflate. Sinon, ce sont des algorithmes de compression très similaires.

Si vous avez un peu de processeur libre sur vos serveurs, cela vaut peut-être la peine d’expérimenter la compression (liens :
Apache,
IIS). Mais si vous diffusez du contenu dynamique et que vos serveurs sont déjà fortement sollicités au niveau du processeur, vous feriez peut-être mieux d’attendre.

Site web: Excellentes informations. Je suis vraiment ravi que vous soyez venu ce soir — Dieu merci, mon
robots.txt l’a permis. Ce fichier peut parfois ressembler à un parent surprotecteur !

Googlebot: Ah oui ; la rencontre avec les parents, le robots.txt. J’en ai rencontré des tas d’intenses. Certains ne sont en réalité que des pages d’erreur HTML plutôt que de véritables fichiers robots.txt. Certains ont des redirections infinies dans tous les sens, parfois vers des sites totalement sans rapport, tandis que d’autres sont tout simplement immenses et répertorient des milliers d’URL différentes individuellement. Voici un schéma malheureux. Le site est normalement impatient que je l’explore :

Ensuite, lors d’un pic de trafic élevé, le site bascule le robots.txt vers quelque chose de restrictif :

Le problème avec ce changement de fichier robots.txt est qu’une fois que je vois le robots.txt restrictif, je devrais peut-être commencer à supprimer du contenu que j’ai déjà exploré dans l’index. Et ensuite, je dois réexplorer une grande quantité de contenu une fois que j’ai à nouveau le droit d’explorer le site. Au moins, un code de réponse 503 aurait été temporaire.

Je ne revérifie généralement le fichier robots.txt qu’une fois par jour (sinon, sur de nombreux sites d’hébergement virtuel, je passerais une grande fraction de mes requêtes rien qu’à récupérer robots.txt, et aucun rendez-vous n’a envie de « rencontrer les parents » aussi souvent). Pour les webmasters, essayer de contrôler la vitesse d’exploration en modifiant le robots.txt se retourne généralement contre eux. Il vaut mieux
régler la vitesse sur « plus lent »
dans Webmaster Tools.

Googlebot: Site web, merci pour toutes vos questions, vous avez été merveilleux, mais je vais devoir dire : « FIN, mon amour. »

Site web: Oh, Googlebot… ACK/FIN.
🙂

Écrit par Maile Ohye en tant que site web, Jeremy Lilley en tant que Googlebot