GET, POST et la mise en valeur sécurisée d'une plus grande partie du Web

Mardi 1er novembre 2011

À mesure que le Web évolue, les capacités d’exploration et d’indexation de Google doivent également progresser. Nous
avons amélioré notre indexation de Flash, créé une infrastructure
plus robuste appelée Caffeineet nous avons même commencé à
explorer les formulaires lorsque cela s’avère pertinent. Aujourd’hui, en particulier avec la popularité croissante de JavaScript et d’AJAX, nous constatons que de plus en plus de pages Web nécessitent des requêtes POST — que ce soit pour l’ensemble du contenu de la page ou parce que les pages manquent d’informations et/ou s’affichent complètement cassées sans les ressources renvoyées par POST. Pour la Recherche Google, ce n’est pas idéal, car lorsque nous ne découvrons et n’indexons pas correctement le contenu, les internautes risquent de ne pas avoir accès aux résultats les plus complets et pertinents.

Nous conseillons généralement d’utiliser
GET
pour récupérer les ressources dont une page a besoin, et c’est de loin notre méthode d’exploration préférée. Nous avons lancé des expériences visant à réécrire les requêtes POST en requêtes GET, et bien que cela reste une stratégie valide dans certains cas, souvent les contenus renvoyés par un serveur Web pour
GET par rapport à POST sont complètement différents. De plus, il existe des raisons légitimes d’utiliser POST (par exemple, vous pouvez joindre plus de données à une requête POST qu’à une requête GET). Par conséquent, bien que les requêtes GET restent beaucoup plus courantes, pour afficher davantage de contenu sur le Web, Googlebot peut désormais effectuer des requêtes
POST lorsque nous estimons que cela est sûr et approprié.

Nous prenons des précautions pour éviter d’exécuter sur un site toute tâche susceptible d’entraîner l’exécution d’une action utilisateur non intentionnelle. Nos requêtes POST servent principalement à explorer les ressources demandées automatiquement par une page, imitant ce qu’un utilisateur type verrait lorsqu’il ouvre l’URL dans son navigateur. Cela évoluera avec le temps à mesure que nous trouverons de meilleures heuristiques, mais c’est notre approche actuelle.

Examinons quelques scénarios de requêtes POST qui démontrent comment nous améliorons notre exploration et notre indexation pour évoluer avec le Web.

Exemples de requêtes POST de Googlebot

• Exploration d’une page via une redirection POST
• Exploration d’une ressource via une POST XMLHttpRequest: dans cet exemple étape par étape, nous améliorons à la fois l’indexation d’une page et son Aperçu instantané en suivant la XMLHttpRequest automatique générée lors du rendu de la page.

1. Google explore l’URL yummy-sundae.html.
2. Google commence à indexer yummy-sundae.html et, dans le cadre de ce processus, décide de tenter de rendre la page pour mieux comprendre son contenu et/ou générer l’Aperçu instantané.
3. Pendant le rendu, yummy-sundae.html envoie automatiquement une XMLHttpRequest pour une ressource, hot-fudge-info.html, en utilisant la méthode POST .
4. L’URL demandée via POST, hot-fudge-info.html, ainsi que sa charge utile de données, est ajoutée à la file d’attente d’exploration de Googlebot.
5. Googlebot effectue une requête POST pour explorer hot-fudge-info.html.
6. Google dispose désormais d’une représentation précise de yummy-sundae.html pour les Aperçus instantanés. Dans certains cas, nous pouvons également intégrer le contenu de hot-fudge-info.html dans yummy-sundae.html.
7. Google termine l’indexation de yummy-sundae.html.
8. L’utilisateur recherche « hot fudge sundae ».
9. Les algorithmes de Google peuvent désormais mieux déterminer dans quelle mesure yummy-sundae.html est pertinent pour cette requête, et nous pouvons afficher correctement un instantané de la page pour les Aperçus instantanés.

Amélioration de la possibilité d’exploration et d’indexation de votre site

Des conseils généraux pour créer des sites explorables se trouvent dans notre
Centre d’aide. Pour les webmasters qui souhaitent aider Google à explorer et indexer leur contenu et/ou à générer l’Aperçu instantané, voici quelques rappels simples :

• Préférez GET pour récupérer des ressources, sauf s’il y a une raison spécifique d’utiliser
  POST.
• .
  Vérifiez que nous sommes autorisés à explorer les ressources nécessaires au rendu de votre page. Dans l’exemple ci-dessus, si hot-fudge-info.html est bloqué parrobots.txt
  , Googlebot ne le récupérera pas. Plus subtilement, si le code JavaScript qui émet la XMLHttpRequest se trouve dans un fichier .js
  Vous pouvez tester si les ressources sont bloquées via
  Webmaster Tools
  Labs >
  Instant Previews.
• Assurez-vous de renvoyer à Googlebot le même contenu que celui affiché dans les navigateurs web des utilisateurs.
  Le cloaking
  (le fait d’envoyer un contenu différent à Googlebot et aux utilisateurs) constitue une violation de nos
  Webmaster Guidelines
  car, entre autres, cela peut nous amener à fournir à un internaute un résultat non pertinent : le contenu que l’utilisateur visualise dans son navigateur peut être totalement différent de ce que nous avons exploré et indexé. Nous avons vu de nombreux POST exemples de requêtes où un webmaster a pratiqué le cloaking de manière non malveillante (ce qui reste une violation), et ce cloaking — même pour le plus petit des changements — a ensuite provoqué des erreurs JavaScript qui ont empêché une indexation précise et ont complètement ruiné la raison pour laquelle ils avaient recours au cloaking au départ. En résumé, si vous souhaitez que votre site soit convivial pour les moteurs de recherche, le cloaking est une situation délicate à éviter absolument.
  
  Pour vérifier que vous ne faites pas de cloaking par inadvertance, vous pouvez utiliser
  Instant Previews
  dans Webmaster Tools, ou essayer de définir la chaîne User-Agent de votre navigateur sur quelque chose comme :

  Votre site ne doit pas avoir un aspect différent après un tel changement. Si vous voyez une page blanche, une erreur JavaScript, ou si des parties de la page sont manquantes ou différentes, cela signifie qu’un problème subsiste.

• Pensez à inclure le contenu important (c’est-à-dire le contenu que vous souhaitez voir indexé) sous forme de texte, visible directement sur la page et sans nécessiter d’action de l’utilisateur pour s’afficher. La plupart des moteurs de recherche sont textuels et fonctionnent généralement mieux avec du contenu textuel. Nous améliorons constamment notre capacité à explorer et à indexer des contenus publiés de diverses manières, mais il reste une bonne pratique d’utiliser du texte pour les informations importantes.

Contrôler votre contenu

Si vous souhaitez empêcher qu’un contenu soit exploré ou indexé pour Google Web Search, les méthodes traditionnelles de
robots.txt rules
restent la meilleure solution. Pour empêcher l’affichage de l’Instant Preview pour votre ou vos pages, veuillez consulter notre
Instant Previews FAQ
qui décrit l’ Google Web Preview User-Agent ainsi que la balise nosnippet meta tag.

Pour l’avenir

Nous continuerons à œuvrer pour accroître l’exhaustivité de notre index afin que les internautes puissent trouver des informations toujours plus pertinentes. Nous prévoyons également que nos capacités d’exploration et d’indexation s’amélioreront et évolueront au fil du temps, tout comme le web lui-même. N’hésitez pas à nous faire part de vos questions ou préoccupations.

Écrit par
Pawel Aleksander Fedorynski,
Ingénieur logiciel, Équipe d’indexation, et
Maile Ohye,
Responsable technique des programmes pour développeurs