Feedfetcher

Feedfetcher ist die Art und Weise, wie Google RSS- oder Atom-Feeds für
Google News
und WebSubdurchsucht. Feedfetcher speichert und aktualisiert regelmäßig Feeds, die von Benutzern einer App oder eines Dienstes angefordert werden. Nur Podcast-Feeds werden in der Google-Suche indexiert; wenn ein Feed jedoch nicht der
Atom oder
RSS Spezifikation entspricht, kann er dennoch indexiert werden. Hier sind einige Antworten auf die am häufigsten gestellten Fragen zur Funktionsweise dieses benutzergesteuerten Feed-Abrufers.

Wie kann ich beantragen, dass Google einige oder alle Feeds meiner Website nicht abruft?

Wenn Benutzer einen Dienst oder eine App hinzufügen, die Feedfetcher-Daten verwendet, versucht Googles Feedfetcher, den Inhalt des Feeds abzurufen, um ihn anzuzeigen. Da Feedfetcher-Anfragen durch explizite Aktionen menschlicher Benutzer und nicht durch automatisierte Crawler erfolgen, ignoriert Feedfetcher robots.txt-Regeln.

Wenn Ihr Feed öffentlich zugänglich ist, kann Google den Zugriff der Benutzer darauf nicht einschränken. Eine Lösung besteht darin, Ihre Website so zu konfigurieren, dass sie eine 404, 410, oder eine andere Fehlerstatusmeldung an den Feedfetcher-Google User-Agent sendet.

Wenn Ihr Feed von einem Blog- oder Website-Hosting-Dienst bereitgestellt wird, arbeiten Sie direkt mit diesem Dienst zusammen, um den Zugriff auf Ihren Feed einzuschränken.

Wie oft ruft Feedfetcher meine Feeds ab?

Feedfetcher sollte Feeds von den meisten Websites im Durchschnitt nicht öfter als einmal pro Stunde abrufen. Einige häufig aktualisierte Websites werden möglicherweise öfter aktualisiert. Beachten Sie jedoch, dass es aufgrund von Netzwerkverzögerungen vorkommen kann, dass Feedfetcher Ihre Feeds kurzzeitig häufiger abzurufen scheint.

Warum versucht Feedfetcher, falsche Links von meinem Server oder von einer Domain herunterzuladen, die nicht existiert?

Feedfetcher ruft Feeds auf Anfrage von Diensten oder Apps ab, die von Benutzern installiert wurden. Es ist möglich, dass ein Benutzer eine Feed-URL angefordert hat, die nicht existiert.

Warum lädt Feedfetcher Informationen von meinem „geheimen“ Webserver herunter?

Feedfetcher ruft Feeds auf Anfrage von Diensten oder Apps ab, die von Benutzern installiert wurden. Es ist möglich, dass die Anfrage von einem Benutzer kam, der Ihren „geheimen“ Server kennt oder ihn versehentlich eingegeben hat.

Warum befolgt Feedfetcher meine robots.txt-Datei nicht?

Feedfetcher ruft Feeds erst ab, nachdem Benutzer explizit einen Dienst oder eine App gestartet haben, der/die Daten vom Feed anfordert. Feedfetcher verhält sich wie ein direkter Agent des menschlichen Benutzers, nicht wie ein Roboter, daher ignoriert er robots.txt-Einträge. Da Feedfetcher als Agent für mehrere Benutzer fungiert, schont er die Bandbreite, indem er Anfragen für gemeinsame Feeds nur einmal für alle Benutzer stellt, die den Feed über eine App oder einen Dienst angefordert haben. Die gemeinsamen Feeds sind
RSS und
Atom.

Sie können verhindern, dass Feedfetcher Ihre Website durchsucht, indem Sie Ihren Server so konfigurieren, dass er eine
404, 410, oder eine andere Fehlerstatusmeldung an den
Feedfetcher-Google User-Agent sendet.

Warum gibt es Besuche von mehreren Maschinen bei Google.com, alle mit dem User-Agent Feedfetcher?

Feedfetcher wurde so konzipiert, dass er auf mehreren Maschinen verteilt ist, um die Leistung zu verbessern und zu skalieren, während das Web wächst. Um den Bandbreitenverbrauch zu reduzieren, befinden sich die verwendeten Maschinen oft in der Nähe der Websites, die sie im Netzwerk abrufen.

Können Sie mir die IP-Adressen nennen, von denen Feedfetcher Anfragen stellt, damit ich meine Protokolle filtern kann?

Die von Feedfetcher verwendeten IP-Adressen sind im
user-triggered-fetchers-google.json
Objekt enthalten.

Warum lädt Feedfetcher dieselbe Seite auf meiner Website mehrmals herunter?

Im Allgemeinen lädt Feedfetcher während eines bestimmten Feed-Abrufs nur eine Kopie jeder Datei von Ihrer Website herunter. Gelegentlich werden die Maschinen gestoppt und neu gestartet, was dazu führen kann, dass sie Seiten, die sie kürzlich besucht haben, erneut abrufen.

Welche Arten von Links durchsucht Feedfetcher?

Im Gegensatz zu normalen Web-Crawlern entdeckt Feedfetcher überhaupt keine Links zum Durchsuchen; stattdessen durchsucht er eine einzelne URL, die ihm von Benutzern eines Dienstes oder einer App bereitgestellt wird, die Feedfetcher verwendet.

Meine Feedfetcher-Frage wird hier nicht beantwortet. Wo bekomme ich mehr Hilfe?

Wenn Sie immer noch Probleme haben, versuchen Sie, Ihre Frage im Search Central
Forum.