Feedfetcher

Feedfetcher est la façon dont Google explore les flux RSS ou Atom pour
Google News
et WebSub. Feedfetcher stocke et actualise périodiquement les flux demandés par les utilisateurs d’une application ou d’un service. Seuls les flux de podcasts sont indexés dans la recherche Google ; cependant, si un flux ne suit pas la spécification
Atom ou
RSS , il peut toujours être indexé. Voici quelques réponses aux questions les plus fréquemment posées sur le fonctionnement de ce récupérateur de flux contrôlé par l’utilisateur.

Comment demander à Google de ne pas récupérer certains ou tous les flux de mon site ?

Lorsque les utilisateurs ajoutent un service ou une application qui utilise les données de Feedfetcher, le Feedfetcher de Google tente d’obtenir le contenu du flux afin de l’afficher. Étant donné que les demandes de Feedfetcher proviennent d’actions explicites d’utilisateurs humains et non de robots d’exploration automatisés, Feedfetcher ignore les règles robots.txt.

Si votre flux est accessible au public, Google ne peut pas empêcher les utilisateurs d’y accéder. Une solution consiste à configurer votre site pour qu’il serve un 404, 410, ou un autre message d’état d’erreur à l’agent utilisateur Feedfetcher-Google .

Si votre flux est fourni par un service d’hébergement de blog ou de site, travaillez directement avec ce service pour restreindre l’accès à votre flux.

À quelle fréquence Feedfetcher récupérera-t-il mes flux ?

Feedfetcher ne devrait pas récupérer les flux de la plupart des sites plus d’une fois par heure en moyenne. Certains sites fréquemment mis à jour peuvent être actualisés plus souvent. Notez cependant qu’en raison des délais réseau, il est possible que Feedfetcher semble brièvement récupérer vos flux plus fréquemment.

Pourquoi Feedfetcher essaie-t-il de télécharger des liens incorrects depuis mon serveur, ou depuis un domaine qui n’existe pas ?

Feedfetcher récupère les flux à la demande de services ou d’applications installés par les utilisateurs. Il est possible qu’un utilisateur ait demandé une URL de flux qui n’existe pas.

Pourquoi Feedfetcher télécharge-t-il des informations depuis mon serveur Web « secret » ?

Feedfetcher récupère les flux à la demande de services ou d’applications installés par les utilisateurs. Il est possible que la demande provienne d’un utilisateur qui connaît votre serveur « secret » ou qui l’a saisi par erreur.

Pourquoi Feedfetcher n’obéit-il pas à mon fichier robots.txt ?

Feedfetcher ne récupère les flux qu’après que les utilisateurs ont explicitement démarré un service ou une application qui demande des données à partir du flux. Feedfetcher se comporte comme un agent direct de l’utilisateur humain, et non comme un robot, il ignore donc les entrées robots.txt. Étant donné que Feedfetcher agit en tant qu’agent pour plusieurs utilisateurs, il économise la bande passante en effectuant des demandes de flux courants une seule fois pour tous les utilisateurs qui ont demandé le flux via une application ou un service. Les flux courants sont
RSS et
Atom.

Vous pouvez empêcher Feedfetcher d’explorer votre site en configurant votre serveur pour qu’il serve un
404, 410, ou un autre message d’état d’erreur à l’agent utilisateur
Feedfetcher-Google .

Pourquoi y a-t-il des visites provenant de plusieurs machines sur Google.com, toutes avec l’agent utilisateur Feedfetcher ?

Feedfetcher a été conçu pour être distribué sur plusieurs machines afin d’améliorer les performances et de s’adapter à la croissance du Web. Pour réduire l’utilisation de la bande passante, les machines utilisées sont souvent situées à proximité des sites qu’elles récupèrent sur le réseau.

Pouvez-vous me communiquer les adresses IP à partir desquelles Feedfetcher effectue des demandes afin que je puisse filtrer mes journaux ?

Les adresses IP utilisées par Feedfetcher sont incluses dans l’objet
user-triggered-fetchers-google.json
.

Pourquoi Feedfetcher télécharge-t-il plusieurs fois la même page sur mon site ?

En général, Feedfetcher ne télécharge qu’une seule copie de chaque fichier de votre site lors d’une récupération de flux donnée. Très occasionnellement, les machines sont arrêtées et redémarrées, ce qui peut l’amener à récupérer à nouveau des pages qu’il a récemment visitées.

Quels types de liens Feedfetcher explore-t-il ?

Contrairement aux robots d’exploration Web normaux, Feedfetcher ne découvre pas du tout de liens à explorer ; au lieu de cela, il explore une URL unique qui lui est fournie par les utilisateurs d’un service ou d’une application qui utilise Feedfetcher.

Ma question sur Feedfetcher n’est pas répondue ici. Où puis-je obtenir plus d’aide ?

Si vous rencontrez toujours des problèmes, essayez de publier votre question sur le
forum.