GET, POST və veb-in daha çox hissəsinin təhlükəsiz şəkildə üzə çıxarılması

1 noyabr 2011-ci il, çərşənbə axşamı

Veb inkişaf etdikcə Google-un skan etmə və indeksləmə imkanları da irəliləməlidir. Biz
Flash-ın indekslənməsini təkmilləşdirdikdaha etibarlı
Caffeine adlı infrastruktur qurduqvə hətta
formaları skan etməyə başladıq. İndi, xüsusilə JavaScript-in və onunla birlikdə AJAX-ın artan populyarlığı fonunda biz POST sorğuları tələb edən daha çox veb-səhifə aşkar edirik — ya səhifənin bütün məzmunu üçün, ya da səhifələrdə məlumat çatışmazlığı səbəbindən və/və ya POST-dən qayıdan resurslar olmadan onların tamamilə qüsurlu görünməsi üzündən. Google Axtarış üçün bu, ideal vəziyyət deyil, çünki məzmunu düzgün aşkar edib indeksləşdirmədikdə, istifadəçilər ən əhatəli və uyğun nəticələrə çıxış əldə edə bilməzlər.

Biz ümumiyyətlə tövsiyə edirik ki,
GET
səhifənin ehtiyac duyduğu resursları əldə etmək üçün istifadə olunsun və bu, bizim skan etmə üçün üstünlük verdiyimiz metoddur. Biz POST sorğularını GETsorğularına yenidən yazmaq üçün sınaqlara başlamışıq və bu, bəzi hallarda etibarlı strategiya olaraq qalsa da, çox vaxt
GET və POST üçün veb-server tərəfindən qaytarılan məzmun tamamilə fərqli olur. Əlavə olaraq, POST istifadə etmək üçün qanuni səbəblər var (məsələn, siz POST sorğusuna GET-ə nisbətən daha çox məlumat əlavə edə bilərsiniz). Buna görə də, GET sorğuları qat-qat daha çox yayılsa da, vebdə daha çox məzmunu üzə çıxarmaq üçün Googlebot təhlükəsiz və uyğun hesab etdiyi hallarda indi
POST sorğuları həyata keçirə bilər.

Saytda istifadəçinin nəzərdə tutulmayan hərəkətini icra edə biləcək hər hansı tapşırığı yerinə yetirməkdən qaçmaq üçün tədbirlər görürük. Bizim POST sorğularımız ilk növbədə səhifənin avtomatik olaraq tələb etdiyi resursları skan etmək üçündür və tipik istifadəçinin URL-i brauzerdə açarkən görəcəyi mənzərəni təqlid edir. Daha yaxşı heuristiklər tapdıqca bu, zamanla təkamül edəcək, lakin bizim hazırkı yanaşmamız budur.

Gəlin POST sorğusunun veb ilə birlikdə skan və indekslənməmizi necə təkmilləşdirdiyimizi nümayiş etdirən bir neçə ssenarisini nəzərdən keçirək.

Googlebot-un POST sorğularının nümunələri

• Səhifənin POST yönləndirməsi vasitəsilə skan edilməsi
• Resursun POST XMLHttpRequest vasitəsilə skan edilməsi: Addım-addım bu nümunədə biz səhifənin render edilməsi zamanı yaranan avtomatik XMLHttpRequest -i izləməklə həm səhifənin indekslənməsini, həm də Ani Önizləməsini təkmilləşdiririk.

1. Google yummy-sundae.html URL-ini skan edir.
2. Google yummy-sundae.html səhifəsinin indekslənməsinə başlayır və bu prosesin bir hissəsi olaraq məzmununu daha yaxşı başa düşmək və/və ya Ani Önizləmə yaratmaq üçün səhifəni render etməyə cəhd etmək qərarına gəlir.
3. Render zamanı yummy-sundae.html avtomatik olaraq POST metodundan istifadə edərək hot-fudge-info.html resursu üçün XMLHttpRequest göndərir.
4. POST vasitəsilə tələb olunan URL, yəni hot-fudge-info.html və onun məlumat yükü Googlebot-un skan növbəsinə əlavə edilir.Googlebot hot-fudge-info.html səhifəsini skan etmək üçün
5. POST sorğusu yerinə yetirir. Google indi Ani Önizləmələr üçün yummy-sundae.html səhifəsinin dəqiq təqdimatına malikdir. Müəyyən hallarda biz hot-fudge-info.html məzmununu yummy-sundae.html faylına daxil edə bilərik.
6. Google yummy-sundae.html səhifəsinin indekslənməsini tamamlayır.
7. İstifadəçi “hot fudge sundae” axtarışı edir.
8. Google-un alqoritmləri indi yummy-sundae.html səhifəsinin bu sorğuya görə nə dərəcədə uyğun olduğunu daha yaxşı müəyyən edə bilər və biz Ani Önizləmələr üçün səhifənin skrinşotunu düzgün şəkildə göstərə bilərik.
9. Saytınızın skan edilə bilənliyinin və indekslənə bilənliyinin artırılması

Skan edilə bilən saytların yaradılması üzrə ümumi məsləhətləri

Kömək Mərkəzi
mizdə tapa bilərsiniz. Google-a məzmununu skan edib indeksləşdirməkdə və/və ya Ani Önizləmə yaratmaqda kömək etmək istəyən veb-ustalar üçün bir neçə sadə xatırlatma:Resursları əldə etmək üçün

• GET metoduna üstünlük verin, əgər POST
  istifadə etmək üçün xüsusi səbəb yoxdursa..
• Səhifənizi render etmək üçün lazımi resursların skan edilməsinə icazə verildiyini yoxlayın. Yuxarıdakı nümunədə hot-fudge-info.html
  robots.txttərəfindən qadağan edilibsə, Googlebot onu əldə etməyəcək. Daha incə məqam odur ki, əgər
  XMLHttpRequest əməliyyatını həyata keçirən JavaScript kodu robots.txt tərəfindən qadağan edilmiş xarici .js faylında yerləşirsə, biz yummy-sundae.html və hot-fudge-info.html arasındakı əlaqəni görməyəcəyik, ona görə də hətta sonuncunun özü qadağan edilməsə belə, bu, bizə çox kömək etməyə bilər. Biz real mühitdə bundan daha mürəkkəb asılılıq zəncirləri görmüşük. Google-un saytınızı daha yaxşı başa düşməsinə kömək etmək üçün demək olar ki, həmişə Googlebot-a bütün resursları skan etməyə icazə vermək daha yaxşıdır.
  Resursların əngəllənib-əngəllənmədiyini aşağıdakı vasitəsilə yoxlaya bilərsiniz:
  Webmaster Tools
  Labs >
  Instant Previews.
• Googlebot-a istifadəçilərin veb-brauzerlərinə qaytarılan məzmunun eynisini qaytardığınızdan əmin olun.
  Gizlətmə (Cloaking)
  (Googlebot-a istifadəçilərdən fərqli məzmun göndərmək) bizim
  Webmaster Guidelines
  qaydalarımızın pozulmasıdır, çünki başqa səbəblərlə yanaşı, bu, axtarış edənə uyğun olmayan nəticə təqdim etməyimizə səbəb ola bilər — istifadəçinin brauzerində gördüyü məzmun bizim skan edib indekslədiyimiz məzmundan tamamilə fərqli ola bilər. Biz saysız-hesabsız POST sorğu nümunələri görmüşük ki, burada veb-ustur qərəzsiz şəkildə məzmun gizlətmişdir (bu yenə də pozuntudur) və onların hətta ən kiçik dəyişikliklərdə belə gizlətməsi dəqiq indekslənməyə mane olan JavaScript xətalarına səbəb olmuş və əslində gizlətmə etmə səbəblərini tamamilə boşa çıxarmışdır. Qısası, əgər saytınızın axtarış sistemləri üçün əlverişli olmasını istəyirsinizsə, məzmun gizlətməkdən ümumiyyətlə qaçınmaq lazım olan mürəkkəb bir vəziyyətdir.
  
  Təsadüfən məzmun gizlətmədiyinizi yoxlamaq üçün
  Instant Previews
  vasitəsindən Webmaster Tools daxilində istifadə edə bilər və ya brauzerinizdə User-Agent sətrini aşağıdakı kimi təyin etməyə cəhd edə bilərsiniz:

  Belə bir dəyişiklikdən sonra saytınız heç cür fərqli görünməməlidir. Əgər boş səhifə, JavaScript xətası görürsünüzsə və ya səhifənin bəzi hissələri çatışmırsa və ya fərqlidirsə, deməli nəsə səhvdir.

• Vacib məzmunu (yəni indekslənməsini istədiyiniz məzmunu) mətn kimi, birbaşa səhifədə görünən və göstərilməsi üçün istifadəçi hərəkəti tələb olunmayan şəkildə daxil etməyi unutmayın. Əksər axtarış sistemləri mətn əsaslıdır və ümumiyyətlə mətn əsaslı məzmunla daha yaxşı işləyir. Müxtəlif üsullarla dərc edilmiş məzmunu skan etmək və indeksləmək qabiliyyətimizi həmişə təkmilləşdiririk, lakin vacib məlumatlar üçün mətndən istifadə etmək yaxşı təcrübə olaraq qalır.

Məzmununuza nəzarət

Əgər məzmununuzun Google Web Search tərəfindən skan edilməsinin və ya indekslənməsinin qarşısını almaq istəyirsinizsə, ənənəvi
robots.txt rules
ən yaxşı üsul olaraq qalır. Səhifə(lər)iniz üçün Instant Preview funksiyasının qarşısını almaq üçün lütfən
Instant Previews FAQ
bölməsinə baxın; burada Google Web Preview User-Agent və nosnippet meta tag

təsvir olunub.

İrəliyə doğru addımlayarkən

Axtarış edənlərin daha çox uyğun məlumat tapa bilməsi üçün indeksimizin əhatəliliyini artırmağa çalışmaqda davam edəcəyik. Və gözləyirik ki, skan etmə və indeksləmə imkanlarımız zaman keçdikcə, məhz vebin özü kimi, təkmilləşəcək və inkişaf edəcək. Suallarınız və ya narahatlıqlarınız varsa, lütfən bizə bildirin.
YazdıPawel Aleksander Fedorynski
,
Proqram mühəndisi, İndeksləmə qrupu, vəMaile Ohye