Date with Googlebot, Part II: HTTP status codes and If-Modified-Since

Jeudi 27 novembre 2008

Notre
rendez-vous avec Googlebot
a été si merveilleux, mais il est difficile de dire si nous, les sites web, avons dit la bonne chose. Nous avons renvoyé une
301 redirection permanente, mais aurions-nous dû répondre par une 302 redirection
temporaire (pour qu’il sache que nous faisons des manières) ? Si nous envoyons quelques nouvelles 404 erreurs,
Googlebot visitera-t-il encore notre site ? Devrions-nous prendre en charge l’en-tête
If-Modified-Since? Ces questions peuvent porter à confusion, tout comme les premiers amours. Alors,
sans plus attendre, demandons à l’expert, Googlebot, et découvrons comment il a jugé notre réponse
(code).

Très cher Googlebot,
Récemment, j’ai fait un brin de ménage sur mon site et j’ai supprimé quelques anciennes pages orphelines.
Elles renvoient désormais le 404 code « Page non trouvée ». Est-ce correct, ou vous ai-je embrouillé ?

Frankie O’Fore

Cher Frankie,

404 les erreurs sont la méthode standard pour m’indiquer qu’une page n’existe plus. Je ne serai
pas contrarié — il est normal que les anciennes pages soient nettoyées des sites web ou mises à jour avec du contenu plus récent.
La plupart des sites web afficheront une poignée d’ 404 erreurs dans les diagnostics d’exploration des Webmaster Tools. Ce n’est vraiment pas un gros problème. Tant que vous avez une bonne architecture de site avec des liens vers tout votre contenu indexable, je serai heureux, car cela signifie que je peux trouver tout ce dont j’ai besoin.

Mais n’oubliez pas, il n’y a pas que moi qui viens sur votre site web — il peut y avoir des humains qui
voient aussi ces pages. Si vous n’avez qu’un message très simple « 404 page non trouvée », les visiteurs qui
ne sont pas aussi avertis pourraient être déconcertés. Il y a de nombreuses façons de rendre votre 404 page plus
conviviale ; un moyen rapide est notre 404 widget dans les Webmaster Tools, qui aidera
à diriger les gens vers le contenu qui existe réellement. Pour plus d’informations, vous pouvez lire l’article de blog. La plupart
des sociétés d’hébergement web, grandes et petites, vous permettront de personnaliser votre 404 page (ainsi
que d’autres codes de retour).

Amour et baisers,
Googlebot

Hé Googlebot,
Je lisais justement votre réponse à Frankie ci-dessus, et cela a soulevé quelques questions.
Et si quelqu’un fait un lien vers une page qui n’existe plus ? Comment puis-je m’assurer que mes visiteurs
trouvent toujours ce qu’ils cherchent ? De plus, et si je déplace simplement quelques pages ? J’aimerais mieux
organiser mon site, mais j’ai peur que vous soyez confus. Comment puis-je vous aider ?

En espérant votre réponse,
Little Jimmy

Bonjour Jimmy,

Faisons comme s’il n’y avait pas d’anachronismes dans votre lettre, et allons droit au but. Tout d’abord, examinons les liens provenant d’autres sites. Évidemment, ceux-ci peuvent être une excellente source de trafic, et vous ne voulez pas que les visiteurs soient confrontés à un message inamical « Page non trouvée ». Vous pouvez donc exploiter la puissance de la formidable redirection.

Il existe deux types de redirection —301 et 302. En fait, il y en a
beaucoup d’autres, mais ce sont les deux qui nous concernent maintenant. Tout comme 404,
301 et 302 sont différents types de codes de réponse que vous pouvez envoyer aux utilisateurs
et aux robots d’indexation des moteurs de recherche. Ce sont toutes les deux des redirections, mais une 301 est permanente et une
302 est temporaire. Une 301 redirection m’indique que, peu importe ce qu’était cette page auparavant, elle vit désormais ailleurs. C’est parfait lorsque vous réorganisez votre site, et cela aide également avec les liens provenant d’autres sites. Chaque fois que je vois une 301, je mettrai à jour toutes les références
à cette ancienne page avec la nouvelle que vous m’avez indiquée. N’est-ce pas simple ?

Si vous ne savez pas par où commencer avec les redirections, laissez-moi vous mettre sur la voie. Cela dépend de votre serveur web, mais voici quelques recherches qui pourraient vous être utiles :

• Apache :
  301 redirect apache
• IIS :
  301 redirect iis

Vous pouvez également consulter votre manuel ou les fichiers README fournis avec votre serveur.

Comme alternative à une redirection, vous pouvez envoyer un e-mail au webmaster du site qui vous fait un lien et lui demander de mettre à jour son lien. Vous ne savez pas quels sites vous font des liens ? Ne désespérez pas — mes collègues humains ont simplifié la tâche. Dans la section « Liens » des Webmaster Tools, vous pouvez saisir une URL spécifique sur votre site pour déterminer qui y fait un lien.

Mes collègues humains ont également
juste publié un outil
qui affiche les URL faisant référence à des pages inexistantes sur votre site.

Informativement vôtre,
Googlebot

Cher Googlebot,
J’ai un problème — je vis dans une partie très dynamique du web, et je n’arrête pas de changer d’avis sur
les choses. Quand vous me posez des questions, je ne réponds jamais deux fois de la même manière — mes fils de discussion principaux changent
toutes les heures, et j’ai du contenu nouveau tout le temps ! Vous avez l’air d’un type direct qui veut
des réponses directes. Comment puis-je vous dire quand les choses changent sans vous embrouiller ?

Temp O’Rary

Cher Temp,

Je viens de dire au petit Jimmy que 301 les redirections sont le meilleur moyen d’informer un Googlebot
de votre nouvelle adresse, mais ce que vous cherchez est une 302.

Une fois que vous êtes indexé, c’est la manière polie d’indiquer à vos visiteurs que votre adresse est toujours la bonne, mais que le contenu peut être trouvé temporairement ailleurs. Dans ces situations, une
302 (ou la plus rare 307 redirection temporaire) serait préférable. Par exemple,
orkut redirige depuis https://orkut.com vers
https://google.com/accounts/login?service=orkut, ce qui n’est pas une page que les humains
trouveraient particulièrement utile lors d’une recherche sur Orkut.

Elle est sur un domaine différent, pour commencer. Ainsi, une 302 a été utilisée pour m’indiquer que l’ensemble du contenu et des propriétés de liens de l’URL ne doivent pas être mis à jour vers la cible — c’est juste
une page temporaire.

C’est pourquoi lorsque vous cherchez orkut, vous voyez orkut.com et non cette URL plus longue.

N’oubliez pas : une communication simple est la clé de toute relation.

Votre ami,
Googlebot

Capitaine Googlebot,
Je suis le genre de site qui aime se réinventer. J’ai remarqué que les liens vers moi sur les sites de mes amis pointent tous vers des URL dont je me suis débarrassé il y a plusieurs refontes ! J’avais configuré 301
des redirections vers mes nouvelles URL pour ces pages, mais après cela, j’ai 301 redirigé les URL plus récentes
vers ma version suivante. Maintenant, j’ai peur que si vous suivez leurs indications lorsque vous venez explorer, vous finissiez par suivre une chaîne de 301 redirections si longue qu’à la fin vous ne viendrez plus faire un tour.

Ethel Binky

Chère Ethel,
On dirait que vous avez configuré des URL qui redirigent vers d’autres redirections vers… eh bien, bonté divine ! En
petites quantités, ces « redirections répétées » sont compréhensibles, mais il peut être utile de se demander pourquoi
vous les utilisez en premier lieu. Si vous supprimez les 301 redirections au milieu
et m’envoyez directement vers la destination finale sur toutes, vous nous épargnerez à tous les deux beaucoup
de temps et de requêtes HTTP. Mais ne pensez pas seulement à nous. D’autres personnes en ont assez de voir ce même
vieux jeu de « connexion…. chargement … connexion… » dans leur barre d’état.
Mettez-vous à leur place — si votre chaîne de redirections commence à paraître plutôt longue, les utilisateurs
pourraient craindre que vous les ayez lancés dans une boucle infinie ! Les bots comme les humains peuvent
avoir peur de ce genre d’« engagement éternel ». À la place, essayez de vous débarrasser de ces redirections enchaînées, ou au moins de les garder courtes. Pensez aux humains !]

ru5v

Bien à vous,
Googlebot

Cher Googlebot,
Je sais que tu dois m’apprécier – tu me demandes même des fichiers non modifiés, comme ma thèse universitaire qui n’a pas bougé depuis 10 ans. Ça commence à devenir une vraie corvée ! Y a-t-il quelque chose que je puisse faire pour t’empêcher de monopoliser ma précieuse bande passante ?

Janet Crinklenose

Janet, Janet, Janet,
On dirait bien que tu aurais besoin d’apprendre une nouvelle expression — 304 (Not Modified). Si j’ai déjà vu une URL auparavant, j’insère un If-Modified-Since dans l’en-tête de ma requête. Cette ligne inclut également une chaîne de date au format HTTP. Si tu ne veux pas m’envoyer une énième copie de ce fichier, prends ton courage à deux mains et renvoie un en-tête HTTP normal avec le statut
304 (Not Modified)! J’aime l’information, et celle-ci compte aussi. Quand tu fais ça, inutile de m’envoyer une copie du fichier — ce qui signifie que tu ne gaspilles pas ta bande passante, et que je n’ai pas l’impression qu’on me refile toujours la même soupe.

Tu remarqueras probablement que beaucoup de navigateurs et de proxys affichent aussi If-Modified-Since
dans leurs en-têtes. Tu seras ainsi sur la bonne voie pour réduire cette facture de bande passante si agaçante.

Maintenant, va de l’avant et économise un peu de bande passante !
Le bon vieux Googlebot

Googlebot a été d’une aide précieuse ! Nous savons désormais comment répondre au mieux aux utilisateurs et aux moteurs de recherche. Cependant, la prochaine fois que nous nous retrouverons, il sera temps de nous asseoir pour une longue discussion à cœur ouvert avec le robot (Rendez-vous avec Googlebot : Partie III, c’est pour bientôt !).

Recueilli par Chewy [Trewhella], Developer Advocate