, Analyste des tendances pour les webmasters, Google Zurich

La gestion du contenu dupliqué sur votre propre site web peut s’avérer un véritable défi.

Utilisation des flux RSS/Atom pour découvrir de nouvelles URL
Cela fait un moment que nous avons publié cet article de blog. Certaines informations peuvent être obsolètes (par exemple, certaines images peuvent manquer et certains liens peuvent ne plus fonctionner).Vendredi 30 octobre 2009

Google utilise de nombreuses sources pour trouver de nouvelles pages web, des liens que nous trouvons sur le web aux
URL soumises
. Notre objectif est de découvrir rapidement de nouvelles pages afin que les utilisateurs puissent trouver du nouveau contenu dans les résultats de recherche de Google peu de temps après leur mise en ligne. Nous avons récemment lancé une fonctionnalité qui utilise les flux RSS et Atom pour la découverte de nouvelles pages web.

Les flux RSS/Atom ont été très populaires ces dernières années en tant que mécanisme de publication de contenu. Ils permettent aux lecteurs de vérifier le nouveau contenu des éditeurs. L’utilisation de flux pour la découverte nous permet d’intégrer ces nouvelles pages dans notre index plus rapidement que les méthodes d’exploration traditionnelles. Nous pouvons utiliser de nombreuses sources potentielles pour accéder aux mises à jour des flux, notamment Reader, les services de notification ou les explorations directes des flux. À l’avenir, nous pourrions également explorer des mécanismes tels que PubSubHubbubpour identifier les éléments mis à jour.
Pour que nous puissions utiliser vos flux RSS/Atom pour la découverte, il est important que l’exploration de ces fichiers ne soit pas interdite par votre.

robots.txt