Crawling infrastructure

Feedfetcher

Feedfetcher, Google’ın RSS veya Atom beslemelerini şu amaçlarla tarama yöntemidir:
Google Haberler
ve WebSub.
Feedfetcher, bir uygulama veya hizmetin kullanıcıları tarafından talep edilen beslemeleri depolar ve periyodik olarak yeniler. Yalnızca podcast beslemeleri Google Arama’da dizine eklenir; ancak, bir besleme
Atom veya
RSS spesifikasyonuna uymuyorsa, yine de dizine eklenebilir. İşte bu kullanıcı kontrollü besleme çekicinin nasıl çalıştığına dair en sık sorulan soruların bazı yanıtları.

Google’ın sitemin bazı veya tüm beslemelerini almamasını nasıl talep edebilirim?

Kullanıcılar Feedfetcher verilerini kullanan bir hizmet veya uygulama eklediğinde, Google’ın Feedfetcher’ı görüntülemek amacıyla beslemenin içeriğini almaya çalışır. Feedfetcher istekleri otomatik tarayıcılardan değil, insan kullanıcıların açık eylemlerinden kaynaklandığından, Feedfetcher robots.txt kurallarını yoksayar.

Beslemeniz herkese açıksa, Google kullanıcıların ona erişmesini kısıtlayamaz. Bir çözüm, sitenizi bir 404, 410veya başka bir hata durum mesajı sunacak şekilde yapılandırmaktır Feedfetcher-Google kullanıcı aracısına.

Beslemeniz bir blog veya site barındırma hizmeti tarafından sağlanıyorsa, beslemenize erişimi kısıtlamak için doğrudan o hizmetle çalışın.

Feedfetcher beslemelerimi ne sıklıkla alacak?

Feedfetcher, çoğu siteden beslemeleri ortalama olarak saatte birden fazla almamalıdır. Sık güncellenen bazı siteler daha sık yenilenebilir. Ancak, ağ gecikmeleri nedeniyle Feedfetcher’ın beslemelerinizi daha sık alıyor gibi görünebileceğini unutmayın.

Feedfetcher, kullanıcılar tarafından yüklenen hizmetlerin veya uygulamaların isteği üzerine beslemeleri alır. Bir kullanıcının var olmayan bir besleme URL’si talep etmiş olması mümkündür.

Feedfetcher neden “gizli” web sunucumdan bilgi indiriyor?

Feedfetcher, kullanıcılar tarafından yüklenen hizmetlerin veya uygulamaların isteği üzerine beslemeleri alır. İsteğin, “gizli” sunucunuzu bilen veya yanlışlıkla yazan bir kullanıcıdan gelmiş olması mümkündür.

Feedfetcher neden robots.txt dosyama uymuyor?

Feedfetcher, beslemeleri yalnızca kullanıcılar beslemeden veri talep eden bir hizmeti veya uygulamayı açıkça başlattıktan sonra alır. Feedfetcher, bir robot olarak değil, insan kullanıcının doğrudan bir temsilcisi olarak hareket eder, bu nedenle robots.txt girişlerini yoksayar. Feedfetcher birden fazla kullanıcı için bir temsilci olarak hareket ettiğinden, beslemeyi bir uygulama veya hizmet aracılığıyla talep eden tüm kullanıcılar için ortak beslemelere yalnızca bir kez istek göndererek bant genişliğinden tasarruf sağlar. Ortak beslemeler şunlardır:
RSS ve
Atom.

Sunucunuzu bir
404, 410veya başka bir hata durum mesajı sunacak şekilde yapılandırarak Feedfetcher’ın sitenizi taramasını engelleyebilirsiniz
Feedfetcher-Google kullanıcı aracısına.

Neden Google.com’daki birden fazla makineden, hepsi Feedfetcher kullanıcı aracısına sahip ziyaretler var?

Feedfetcher, performansı artırmak ve web büyüdükçe ölçeklenmek için birkaç makineye dağıtılacak şekilde tasarlanmıştır. Bant genişliği kullanımını azaltmak için, kullanılan makineler genellikle ağda aldıkları sitelerin yakınında bulunur.

Günlüklerimi filtreleyebilmem için Feedfetcher’ın istek yaptığı IP adreslerini söyleyebilir misiniz?

Feedfetcher tarafından kullanılan IP adresleri
user-triggered-fetchers-google.json
nesnesine dahil edilmiştir.

Feedfetcher neden sitemdeki aynı sayfayı birden çok kez indiriyor?

Genel olarak, Feedfetcher belirli bir besleme alımı sırasında sitenizdeki her dosyanın yalnızca bir kopyasını indirir. Çok nadiren, makineler durdurulup yeniden başlatılır, bu da yakın zamanda ziyaret ettiği sayfaları tekrar almasına neden olabilir.

Normal web tarayıcılarının aksine, Feedfetcher taramak için bağlantıları hiç keşfetmez; bunun yerine, Feedfetcher kullanan bir hizmet veya uygulamanın kullanıcıları tarafından kendisine sağlanan tek bir URL’yi tarar.

Feedfetcher sorum burada yanıtlanmadı. Nereden daha fazla yardım alabilirim?

Hala sorun yaşıyorsanız, sorunuzu Search Central
forumunda.

Alien Road

Biz bunu nasıl uyguluyoruz

Feedfetcher requests come from feed subscriptions rather than from Search crawling. We separate them in log analysis so they do not distort crawl-budget conclusions.

İlgili hizmetler

Paylaş

© Copyright 2026 Alien Road. All rights reserved.