Crawling infrastructure

Feedfetcher

Feedfetcher, Google-un RSS və ya Atom lentlərini necə taradığını göstərir
Google News
və WebSub. Feedfetcher, bir tətbiq və ya xidmətin istifadəçiləri tərəfindən tələb olunan lentləri saxlayır və vaxtaşırı yeniləyir. Yalnız podkast lentləri Google Axtarışda indekslənir; lakin, bir lent
Atom və ya
RSS spesifikasiyasına uyğun gəlmirsə, o, yenə də indekslənə bilər. Budur, bu istifadəçi tərəfindən idarə olunan lent əldə edən alətin necə işlədiyi ilə bağlı ən çox verilən suallara bəzi cavablar.

Google-dan saytımın bəzi və ya bütün lentlərini əldə etməməsini necə tələb edə bilərəm?

İstifadəçilər Feedfetcher məlumatlarından istifadə edən bir xidmət və ya tətbiq əlavə etdikdə, Google-un Feedfetcher-i onu göstərmək üçün lentin məzmununu əldə etməyə çalışır. Feedfetcher sorğuları avtomatlaşdırılmış botlardan deyil, insan istifadəçilərin açıq hərəkətlərindən gəldiyi üçün Feedfetcher robots.txt qaydalarına məhəl qoymur.

Feedfetcher

Lentiniz ictimaiyyətə açıqdırsa, Google istifadəçilərin ona daxil olmasını məhdudlaşdıra bilməz. Bir həll yolu, saytınızı 404, 410, və ya digər xəta statusu mesajını Feedfetcher-Google istifadəçi agentinə çatdırmaq üçün konfiqurasiya etməkdir.

Lentiniz bir bloq və ya sayt hostinqi xidməti tərəfindən təmin edilirsə, lentinizə girişi məhdudlaşdırmaq üçün birbaşa həmin xidmətlə işləyin.

Feedfetcher lentlərimi nə qədər tez-tez əldə edəcək?

Feedfetcher əksər saytlardan lentləri orta hesabla saatda bir dəfədən çox əldə etməməlidir. Tez-tez yenilənən bəzi saytlar daha tez-tez yenilənə bilər. Bununla belə, şəbəkə gecikmələri səbəbindən Feedfetcher-in lentlərinizi daha tez-tez əldə etdiyi görünə bilər.

Feedfetcher — 2

Feedfetcher lentləri istifadəçilər tərəfindən quraşdırılmış xidmətlərin və ya tətbiqlərin tələbi ilə əldə edir. Ola bilər ki, istifadəçi mövcud olmayan bir lent URL-i tələb edib.

Niyə Feedfetcher mənim “gizli” veb serverimdən məlumat yükləyir?

Feedfetcher lentləri istifadəçilər tərəfindən quraşdırılmış xidmətlərin və ya tətbiqlərin tələbi ilə əldə edir. Ola bilər ki, sorğu “gizli” serveriniz haqqında bilən və ya onu səhvən daxil edən istifadəçidən gəlib.

Niyə Feedfetcher robots.txt faylıma tabe olmur?

Feedfetcher lentləri yalnız istifadəçilər lentdən məlumat tələb edən xidməti və ya tətbiqi açıq şəkildə işə saldıqdan sonra əldə edir. Feedfetcher robot kimi deyil, insan istifadəçinin birbaşa agenti kimi davranır, ona görə də robots.txt girişlərinə məhəl qoymur. Feedfetcher çoxsaylı istifadəçilər üçün agent kimi fəaliyyət göstərdiyindən, o, ümumi lentlər üçün sorğuları tətbiq və ya xidmət vasitəsilə lent tələb edən bütün istifadəçilər üçün yalnız bir dəfə etməklə bant genişliyinə qənaət edir. Ümumi lentlər
RSS və
Atom.

Feedfetcher-in saytınızı taramasını, serverinizi
404, 410, və ya digər xəta statusu mesajını
Feedfetcher-Google istifadəçi agentinə çatdırmaq üçün konfiqurasiya etməklə qarşısını ala bilərsiniz.

Niyə Google.com-da hamısı Feedfetcher istifadəçi agenti olan bir neçə maşından ziyarətlər var?

Feedfetcher performansı artırmaq və internet böyüdükcə miqyasını genişləndirmək üçün bir neçə maşında paylanmaq üçün nəzərdə tutulmuşdur. Bant genişliyindən istifadəni azaltmaq üçün istifadə olunan maşınlar çox vaxt şəbəkədə əldə etdikləri saytların yaxınlığında yerləşir.

Jurnallarımı süzgəcdən keçirə bilməyim üçün Feedfetcher-in sorğuları hansı IP ünvanlarından etdiyini mənə deyə bilərsinizmi?

Feedfetcher tərəfindən istifadə olunan IP ünvanları
user-triggered-fetchers-google.json
obyektinə daxil edilmişdir.

Niyə Feedfetcher saytımdakı eyni səhifəni bir neçə dəfə yükləyir?

Ümumiyyətlə, Feedfetcher verilmiş lent əldə edilməsi zamanı saytınızdan hər faylın yalnız bir nüsxəsini yükləyir. Çox nadir hallarda maşınlar dayandırılır və yenidən başladılır, bu da onun bu yaxınlarda ziyarət etdiyi səhifələri yenidən əldə etməsinə səbəb ola bilər.

Normal veb tarayıcılardan fərqli olaraq, Feedfetcher taramaq üçün bağlantıları ümumiyyətlə kəşf etmir; əvəzində, o, Feedfetcher-dən istifadə edən xidmət və ya tətbiq istifadəçiləri tərəfindən ona təqdim edilən tək bir URL-i tarayır.

Feedfetcher sualım burada cavablandırılmayıb. Haradan daha çox kömək ala bilərəm?

Hələ də çətinlik çəkirsinizsə, sualınızı Search Central
forum.

Alien Road

Bunu necə tətbiq edirik

Feedfetcher requests come from feed subscriptions rather than from Search crawling. We separate them in log analysis so they do not distort crawl-budget conclusions.

Əlaqəli xidmətlər

Paylaş