Vous prévoyez de déplacer votre site vers un nouveau domaine ? De nombreux webmasters trouvent ce processus effrayant.

Exploration des formulaires HTML

Vendredi 11 avril 2008

Google teste constamment de nouvelles idées pour améliorer notre couverture du web. Nous faisons déjà des choses assez intelligentes comme l’analyse de JavaScript et de Flash pour découvrir des liens vers de nouvelles pages web, et aujourd’hui, nous aimerions parler d’une autre nouvelle technologie avec laquelle nous avons commencé à expérimenter récemment. Ces derniers mois, nous avons exploré certains formulaires HTML pour essayer de découvrir de nouvelles pages web et URL que nous ne pourrions pas trouver et indexer autrement pour les utilisateurs qui effectuent des recherches sur Google. Plus précisément, lorsque nous rencontrons un <form>

élément sur un site de haute qualité, nous pouvons choisir d’effectuer un petit nombre de requêtes en utilisant le formulaire. Pour les zones de texte, nos ordinateurs choisissent automatiquement des mots sur le site qui possède le formulaire ; pour les menus déroulants, les cases à cocher et les boutons radio du formulaire, nous choisissons parmi les valeurs du HTML. Ayant choisi les valeurs pour chaque entrée, nous générons et essayons d’explorer les URL qui correspondent à une requête possible qu’un utilisateur aurait pu faire. Si nous constatons que la page web résultant de notre requête est valide, intéressante et comprend du contenu qui ne figure pas dans notre index, nous pouvons l’inclure dans notre index tout comme nous le ferions pour n’importe quelle autre page web.
Il va sans dire que cette expérience suit les bonnes pratiques de civisme sur Internet. Seul un petit nombre de sites particulièrement utiles reçoivent ce traitement, et notre agent d’exploration,le toujours sympathique Googlebot , respecte toujours les règles de robots.txt,nofollow et noindex . Cela signifie que si un formulaire de recherche est interdit dans robots.txt, nous n'explorerons aucune des URL qu'un formulaire générerait. De même, nous récupérons uniquement les formulaires GET

et évitons les formulaires qui nécessitent tout type d’informations sur l’utilisateur. Par exemple, nous omettons tous les formulaires qui comportent une saisie de mot de passe ou qui utilisent des termes couramment associés à des informations personnelles telles que les connexions, les identifiants d’utilisateur, les contacts, etc. Nous sommes également conscients de l’impact que nous pouvons avoir sur les sites web et nous nous limitons à un très petit nombre de requêtes pour un site donné.

Les pages web que nous découvrons lors de notre exploration améliorée ne se font pas au détriment des pages web régulières qui font déjà partie de l’exploration, de sorte que ce changement ne réduit pas le PageRank pour vos autres pages. En tant que tel, il ne devrait qu’augmenter l’exposition de votre site sur Google. Ce changement n’affecte pas non plus de manière significative l’exploration, le classement ou la sélection d’autres pages web.
Cette expérience fait partie des efforts plus larges de Google pour accroître sa couverture du web. En fait, on a longtemps pensé que les formulaires HTML étaient la passerelle vers de grands volumes de données au-delà de la portée normale des moteurs de recherche. Les termes Web profond, Web caché ou
Web invisible

ont été utilisés collectivement pour désigner un tel contenu qui était jusqu’à présent invisible pour les utilisateurs des moteurs de recherche. En explorant à l’aide de formulaires HTML (et en respectant robots.txt), nous sommes en mesure de guider les utilisateurs de moteurs de recherche vers des documents qui ne seraient autrement pas facilement trouvés dans les moteurs de recherche, et de fournir aux webmasters ainsi qu’aux utilisateurs une expérience de recherche meilleure et plus complète.