Googlebot ilə ilk görüş: Başlıqlar və sıxılma

Cümə axşamı, 6 mart 2008-ci il

Ad / İstifadəçi-Agent: Googlebot
İP Ünvanı:
Googlebot-u necə yoxlamağı öyrənin
Axtarılır: Unikal və cəlbedici məzmunu olan veb-saytlar
Əsas Soyuducu Faktor: Tələblərinin pozulması
Veb-usta Təlimatları
Googlebot — nə qədər əla arzulanandır. Elə bil bizi tanıyırlar <head>, <body>, və ruhumuzu. Onlar yəqin ki, heç bir eksklüziv şey axtarmırlar; milyardlarla başqa sayt görürlər (baxmayaraq ki, biz məlumatlarımızı digər botlarla da paylaşırıq), lakin bu gecə veb-sayt və skaner olaraq həqiqətən bir-birimizi tanıyacağıq.

Bilirəm, birinci görüşü həddindən artıq təhlil etmək heç vaxt yaxşı deyil. Biz Googlebot ilə bir sıra yazılarda daha yavaş tanış olmağa başlayacağıq:

1. İlk görüşümüz (bu gecə!): Googlebot-un göndərdiyi başlıqlar, “fərqinə vardığı” fayl formatları, məlumatların sıxılmasının daha yaxşı olub-olmaması
2. Onların cavabını qiymətləndirmək: Cavab kodları (301, 302), yönləndirmələri və If-Modified-Since
3. Növbəti addımlar: Keçidləri izləmək, onların daha sürətli və ya yavaş skan etməsini təmin etmək (çox sərt gəlməmələri üçün)

Və bu gecə sadəcə ilk görüşdür…

Googlebot: ACK

Veb-sayt: Googlebot, sən burdasan!

Googlebot: Mənəm.

Veb-sayt: Bu başlıqlar nə qədər cəlbedicidir! Saytım ABŞ, Asiya və ya Avropada olsaydı, eyni başlıqlarla skan edərdinizmi? Heç vaxt fərqli başlıqlardan istifadə edirsinizmi?

Googlebot: Mənim başlıqlarım adətən bütün dünya üzrə ardıcıldır. Mən səhifənin sayt üçün standart dil və parametrlərdə necə göründüyünü görməyə çalışıram. Bəzən
User-Agent fərqli olur, məsələn, AdSense sorğuları istifadə edir
Mediapartners-Google:

Və ya şəkil axtarışı üçün:

Simsiz sorğular tez-tez daşıyıcıya xas istifadəçi agentlərinə malikdir, halbuki Google Reader RSS sorğuları abunəçilərin sayı kimi əlavə məlumatları ehtiva edir.

Mən adətən kukilərdən qaçıram (ona görə də yoxdur Cookie: başlığı), çünki məzmunun sessiyaya xas məlumatlardan çox təsirlənməsini istəmirəm. Və əgər server kuki əvəzinə dinamik URL-də sessiya identifikatorundan istifadə edirsə, ben adətən bunu müəyyən edə bilirəm ki, eyni səhifənizi bir milyon müxtəlif sessiya identifikatoru ilə bir milyon dəfə skan etməyim.

Veb-sayt: Mən çox mürəkkəbəm. Çoxlu fayl növlərim var. Başlıqlarınız deyir
Accept: */*. Bütün URL-ləri indeksləşdirirsiniz, yoxsa müəyyən fayl uzantıları avtomatik olaraq süzgəcdən keçirilir?

Googlebot: Bu, nə axtardığımdan asılıdır. Əgər adi veb axtarışı üçün indeksləşdirirəmsə və MP3-lərə və videolara keçidlər görürəmsə, yəqin ki, onları endirməyəcəyəm. Eynilə, əgər JPG görürəmsə, ona HTML və ya PDF keçidindən fərqli yanaşacağam. Məsələn, JPG-nin tez-tez dəyişmə ehtiyacı HTML-ə nisbətən qat-qat azdır, ona görə də bant genişliyinə qənaət etmək üçün JPG-də dəyişiklikləri daha az yoxlayacağam. Eyni zamanda, Google Scholar olaraq keçidlər axtarıramsa, JPG faylından çox PDF məqaləsi ilə maraqlanacağam. Doodle-ları (JPG kimi) və skeytbord sürən itlərin videolarını endirmək alim üçün yayındırıcıdır – razısınız?

Veb-sayt: Bəli, onlar yayındırıcı ola bilər. Sizin fədakarlığınıza heyranam. Doodle-ları (JPG) sevirəm və onlara müqavimət göstərməyi çətin tapıram.

Googlebot: Mən də; həmişə o qədər də elmi deyiləm. Şəkil axtarışı üçün skan edərkən JPG-lərlə çox maraqlanıram. Xəbərlər üçün isə əsasən HTML və yaxınlıqdakı şəkillərə baxıram.

Həmçinin axtarış sistemi üçün böyük və daha az faydalı olan çoxlu uzantılar (exe, dll, zip, dmg…) mövcuddur.

Veb-sayt: URL-mi görsəydiniz, https://www.example.com/page1.LOL111, sadəcə naməlum fayl uzantısı ehtiva etdiyinə görə onu (inildə-inildə) rədd edərdinizmi?

Googlebot: Veb-sayt, mənə bir az daha çox məlumat verməyə icazə verin. Faktiki olaraq faylı endirdikdən sonra onun həqiqətən HTML, şəkil, mətn və ya başqa bir şey olub-olmadığını yoxlamaq üçün Content-Type başlığından istifadə edirəm. Əgər bu, PDF faylı, Word sənədi və ya Excel cədvəli kimi xüsusi məlumat növüdürsə, onun etibarlı formatda olduğundan əmin olacağam və mətn məzmununu çıxaracağam. Bəlkə də virusu var; heç vaxt bilmirsən. Əgər sənəd və ya məlumat növü həqiqətən qarışıqdırsa, məzmunu silməkdən başqa çox da bir şey yoxdur.

Beləliklə, əgər mən naməlum fayl uzantısı ilə https://www.example.com/page1.LOL111 ünvanını skan edirəmsə, güman ki, onu endirməyə başlayacağam. Başlıqdan məzmun növünü müəyyən edə bilmirdimsə və ya bu, indeksləşdirmədiyimiz formatdırsa (məsələn, mp3), o zaman bir kənara qoyulacaq. Əks halda, faylın indeksləşdirilməsinə davam edirik.

Veb-sayt: Tərzinizi təhlil etdiyim üçün üzr istəyirəm, Googlebot, amma fark etdim ki, sizin
Accept-Encoding başlıqlarınız deyir:

Bu başlıqları mənə izah edə bilərsinizmi?

Googlebot: Əlbəttə. Bütün əsas axtarış sistemləri və veb brauzerlər bant genişliyinə qənaət etmək üçün məzmun üçün gzip sıxılmasını dəstəkləyir. Burada görə biləcəyiniz digər girişlərə x-gzip (ilə eynidir gzip), deflate (biz də dəstəkləyirik) və
identity (heç biri) daxildir.

Veb-sayt: Faylın sıxılması haqqında daha çox danışa bilərsinizmi və
Accept-Encoding: gzip,deflate? Çoxlu URL-lərim tək HTML deyil, böyük Flash faylları və heyrətamiz şəkillərdən ibarətdir. Daha böyük fayllarımı sıxışdırsam, sürətli indeksləşdirməyə kömək edər?

Googlebot: Bu sualın sadə cavabı yoxdur. Əvvəla, swf (Flash), jpg, png, gif və pdf kimi bir çox fayl formatı artıq sıxışdırılıb (həmçinin ixtisaslaşdırılmış Flash optimizatorları da mövcuddur).

Veb-sayt: Bəlkə də mən heç xəbərim olmadan Flash fayllarımı sıxışdırırmışam? Aydındır ki, mən çox səmərəm.

Googlebot: Həm Apache, həm də IIS qənaət edilən bant genişliyi üçün müəyyən CPU xərci tələb olunmasına baxmayaraq, gzip və deflate sıxışdırmasını aktivləşdirmək seçimlərinə malikdir. Adətən o, yalnız asanlıqla sıxışdırılan mətn HTML/CSS/PHP məzmunu üçün aktivləşdirilir. Və o, yalnız istifadəçinin brauzeri və ya mən (axtarış sistemi skaneri) icazə verdikdə istifadə olunur. Şəxsən mən üstünlük verirəm gzip -ə, nəinki deflate. Gzip bir qədər daha etibarlı kodlaşdırmadır — həmişə yoxlama cəmi və tam başlıq mövcuddur ki, bu da mənə deflate ilə müqayisədə daha az təxmin etməyə imkan verir. Əks halda, onlar çox oxşar sıxışdırma alqoritmləridir.

Serverlərinizdə boş CPU varsa, sıxışdırma ilə sınaqdan keçirməyə dəyər (keçidlər:
Apache,
IIS). Lakin əgər dinamik məzmun təqdim edirsinizsə və serverləriniz onsuz da yüksək CPU yükü altındadırsa, bir müddət gözləmək istəyə bilərsiniz.

Veb-sayt: Möhtəşəm məlumatdır. Bu axşam gəldiyinizə həqiqətən də şadam — Allaha şükür ki,
robots.txt faylım buna icazə verdi. Həmin fayl həddindən artıq qayğıkeş valideynə bənzəyə bilər!

Googlebot: Ah, bəli; valideynlərlə tanış olmaq, robots.txt. Mən kifayət qədər sərt olanlarla rastlaşmışam. Bəziləri həqiqətən də etibarlı robots.txt əvəzinə sadəcə HTML səhv səhifələridir. Bəzilərinin hər yerdə sonsuz yönləndirmələri var, bəlkə də tamamilə əlaqəsi olmayan saytlara, digərləri жа sadəcə nəhəngdir və minlərlə müxtəlif URL-lər ayrı-ayrılıqda sadalanıb. Budur, bir bədbəxt nümunə. Sayt adətən mənim skan etməyimi səbirsizliklə gözləyir:

Sonra, yüksək istifadəçi trafikinə malik pik vaxtda sayt robots.txt faylını məhdudlaşdırıcı bir şeylə əvəz edir:

Yuxarıdakı robots.txt faylının dəyişdirilməsi ilə bağlı problem ondadır ki, mən məhdudlaşdırıcı robots.txt-ni gördükdən sonra artıq indeksdə skan etdiyim məzmunu silməyə başlamalı ola bilərəm. Və sonra saytı yenidən skan etməyə icazə veriləndən sonra bir çox məzmunu yenidən skan etməliyəm. Ən azından 503 cavab kodu müvəqqəti olardı.

Mən adətən robots.txt-ni gündə yalnız bir dəfə yenidən yoxlayıram (əks halda bir çox virtual hostinq saytlarında mən sorğularımın böyük hissəsini sadəcə robots.txt əldə etməyə sərf edərdim və heç bir tarix o qədər tez-tez “valideynlərlə görüşmək” istəməz). Veb-ustalar üçün robots.txt dəyişdirmə vasitəsilə skan sürətini idarə etməyə çalışmaq adətən əks nəticə verir. Sürəti
sürəti “daha yavaş” olaraq təyin etmək
Webmaster Tools-da daha yaxşısıdır.

Googlebot: Veb-sayt, bütün suallarınıza görə təşəkkür edirəm, əla vaxt keçirdik, amma deməliyəm: “FIN, mənim sevgilim.”

Veb-sayt: Oh, Googlebot… ACK/FIN.
🙂

Müəllif Maile Ohye veb-sayt kimi, Jeremy Lilley isə Googlebot kimi