Dekabrın sürünməsi: CDN-lər və sürünmə

Çərşənbə axşamı, 24 dekabr 2024-cü il

Məzmun çatdırılma şəbəkələri (CDN-lər) vebsaytınızın gecikməsini azaltmaq və ümumiyyətlə veb-trafiklə əlaqəli baş ağrılarını uzaqlaşdırmaq üçün xüsusilə uyğundur. Axı bu onların əsas məqsədidir: saytınız çoxlu trafik alsa belə, məzmununuzun sürətli çatdırılması. The “D”
CDN-dəki məzmunun bütün dünyaya çatdırılması və ya paylanması üçündür, ona görə də istifadəçilərinizə ötürülmə vaxtı sadəcə bir yerdə məlumat mərkəzində yerləşdirməkdən daha azdır. Bu yazıda biz CDN-lərdən saytınızda sürünməni və istifadəçi təcrübəsini yaxşılaşdıracaq şəkildə necə istifadə etməyi araşdıracağıq və həmçinin CDN dəstəkli saytların sürünməsinin bəzi nüanslarına nəzər salacağıq.

Xülasə: CDN nədir?

CDN-lər əsasən sizin mənşə serveriniz (veb saytınızın yerləşdiyi yer) və son istifadəçi arasında vasitəçidir və onlar üçün (bəzi) fayllara xidmət edir. Tarixən,
CDN-lərin əsas diqqəti keşləşdirməyə yönəlib, o deməkdir ki, istifadəçi saytınızdan URL tələb etdikdən sonra CDN-lər həmin URL-in məzmununu müəyyən müddət ərzində öz keşlərində saxlayacaqlar ki, serveriniz həmin faylı bir müddət yenidən təqdim etməsin.

CDN-lər saytınızı kəskin şəkildə sürətləndirə bilər istifadəçilərə onlara yaxın olan yerdən xidmət göstərməklə. Tutaq ki, Avstraliyadakı istifadəçi Almaniyada yerləşən sayta daxil olur, CDN həmin istifadəçiyə Avstraliyadakı keşlərindən xidmət göstərəcək və bütün dünyada səyahət vaxtını qısaldacaq. İşıq sürəti və ya yox,
məsafə hələ də olduqca böyükdür.

Və nəhayət,
CDN-lər saytınızı həddən artıq yüklənmədən və bəzi təhlükəsizlik təhdidlərindən qorumaq üçün fantastik vasitədir. CDN-lərin idarə etdiyi qlobal trafikin həcmi ilə onlar trafik anomaliyalarını aşkar etmək və həddindən artıq və ya zərərli görünən girişləri bloklamaq üçün etibarlı trafik modelləri qura bilərlər. Məsələn, 21 oktyabr 2024-cü ildə,
Cloudflare sistemləri
müstəqil olaraq 4.2 aşkar edilmiş və azaldılmışdır
Tbps
(red: bu çoxdur) Təxminən bir dəqiqə davam edən DDoS hücumu.

CDN-lər saytınıza necə kömək edə bilər

Pulun alə biləcəyi Ən sürətli serverlərə və ən yaxşı uplinkə sahib ola bilərsiniz və heç bir şeyi sürətləndirməyə ehtiyac olmadığını düşünə bilərsiniz, lakin CDN-lər uzun müddətdə sizə pul qənaət edə bilər, xüsusən də saytınız böyükdürsə:

• CDN-də keşləşdirmə: Media, JavaScript və CSS kimi resurslar, hətta HTML-niz CDN-in keşlərindən xidmət edirsə, serverləriniz həmin resurslara xidmət göstərməyə hesablama və bant genişliyi sərf etməli deyil və bu prosesdə server yükünü azaldır. Bu, adətən, səhifələrin istifadəçilərin brauzerlərində daha sürətli yüklənməsi deməkdir
  daha yaxşı dönüşümlərlə əlaqələndirilir.
• Trafik daşqınından qorunma: CDN-lər həddindən artıq və ya zərərli trafiki müəyyən etmək və bloklamaqda xüsusilə yaxşıdır, pis davranan botlar və ya heç bir yaxşılıq etməyənlər serverlərinizi həddən artıq yüklədikdə belə istifadəçilərinizə saytınıza baş çəkməyə imkan verir.
  Daşqından qorunmadan əlavə, pis trafiki bloklamaq üçün istifadə edilən eyni idarəetmələr sadəcə istəmədiyiniz trafiki, o cümlədən müəyyən skanerləri, müəyyən nümunəyə uyğun gələn müştəriləri və ya eyni IP ünvanından istifadə etməyə davam edən trolleri bloklamaq üçün də istifadə edilə bilər. Bunu serverinizdə və ya təhlükəsizlik divarında da edə bilərsiniz, lakin CDN-in istifadəçi interfeysindən istifadə etmək adətən qat-qat asandır.
• Etibarlılıq: Bəzi CDN-lər saytınız işləməsə belə, istifadəçilərə saytınıza xidmət edə bilər. Bu, əlbəttə ki, yalnız statik məzmun üçün işləyə bilər, lakin bu, onların biznesini başqa yerə aparmamasını təmin etmək üçün onsuz da kifayət edə bilər.

Bir sözlə, CDN-lər sizin dostunuzdur və əgər saytınız böyükdürsə və ya siz böyük miqdarda trafik gözləyirsinizsə (və ya hətta artıq alırsınızsa!), qiymət, performans, etibarlılıq, təhlükəsizlik, müştəri dəstəyi, miqyaslılıq, gələcək genişlənmə kimi amillərə əsasən ehtiyaclarınıza uyğun olanı tapmaq istəyə bilərsiniz. Seçimlərinizi (və artıq birindən istifadə edib-etmədiyinizi) öyrənmək üçün hostinq və ya CMS təminatçınızla əlaqə saxlayın.

Sürünmənin CDN olan saytlara necə təsir etdiyi

Sürünmə cəbhəsində, CDN də faydalı ola bilər, lakin onlar bəzi sürünmə problemlərinə səbəb ola bilər (az-az hallarda olsa da). Bizimlə qalın.

CDN-lərin sürünmə sürətinə təsiri

Sürünmə infrastrukturumuz tərəfimizdən daxil olan URL-lərə xidmət edən xidmətin IP ünvanından çıxarılan CDN tərəfindən dəstəklənən saytlarda daha yüksək sürünmə sürətinə imkan vermək üçün nəzərdə tutulmuşdur. Bu, ən azı əksər hallarda yaxşı işləyir.

Tutaq ki, bu gün səhm fotoqrafiyası saytına başlayırsınız və təsadüfən 1,000,007 şəkiliniz var… səhm. Veb saytınızı giriş səhifəsi, kateqoriya səhifələri və bütün əşyalarınız üçün təfərrüat səhifələri ilə işə salırsınız – beləliklə, çox sayda səhifə əldə edirsiniz. Biz sənədlərimizdə izah edirik
sürünmə tutumu limiti
Google Axtarış bütün bu səhifələri mümkün qədər tez taramaq istəsə də, sürünmə həm də serverlərinizi həddən artıq yükləməməlidir. Artan sayda sürünmə sorğuları ilə üzləşərkən serveriniz yavaş cavab verməyə başlayırsa, serverinizin həddən artıq yüklənməsinin qarşısını almaq üçün Google tərəfindən tənzimləmə tətbiq edilir. Sürünmə infrastrukturumuz saytınızın CDN tərəfindən dəstəkləndiyini aşkar etdikdə bu tənzimləmə həddi qat-qat yüksəkdir və serverinizin bunu idarə edə biləcəyi üçün daha çox paralel sorğu göndərməyin yaxşı olduğunu ehtimal edir və beləliklə, veb-dükanınızı daha sürətli sürünür.

Lakin, URL-ə ilk daxil olanda CDN-in keşi “soyuq” olur, yəni heç kim həmin URL-i hələ tələb etmədiyi üçün onun məzmunu hələ CDN tərəfindən keşlənməyib, ona görə də mənşə serveriniz hələ də həmin URL-ə xidmət etməli olacaq. CDN-in kэşini “isitmək” üçün ən azı bir dəfə. Bu çox oxşardır
HTTP keşlənməsinin necə işlədiyi, həmçinin.

Qısacası, veb-mağazanız CDN tərəfindən dəstəklənsə belə, serverinizin həmin 1 000 007 URL-ə ən azı bir dəfə xidmət göstərməsi lazımdır. Yalnız bu ilkin xidmətdən sonra CDN-iniz keşləri ilə sizə kömək edə bilər. Bu, “təqib büdcəniz” üçün əhəmiyyətli bir yükdür və bir neçə gün ərzində təqib sürəti yüksək ola bilər; birdən çox URL istifadəyə verməyi planlaşdırırsınızsa, bunu nəzərə alın.

CDN-lərin renderetməyə təsiri

Birincisində izah etdiyimiz kimi
resursların təqib edilməsi haqqında Dekabr ayı bloq yazımızdaresursları öz host adlarına və ya CDN host adlarına ayırmaq (cdn.example.com) Veb Renderetmə Xidmətimizə (WRS) səhifələrinizi daha səmərəli şəkildə render etməyə imkan verə bilər. Lakin bunun bir şərti var: bu təcrübə fərqli host adına qoşulmanın əlavə xərcləri səbəbindən səhifə performansına mənfi təsir göstərə bilər, ona görə də diqqətlə nəzərdən keçirməlisiniz
səhifə təcrübəsini renderetmə performansı ilə.

Əsas hostunuzu CDN ilə dəstəkləyirsinizsə, bu problemin qarşısını alırsınız: sorğulamaq üçün bir host adı və kritik renderetmə resursları ehtimal ki, CDN-in keshindən xidmət edilir, ona görə də serverinizin onlara xidmət etməsinə ehtiyac qalmır (və səhifə təcrübəsinə heç bir zərər dəymir).

Sonda, biznesiniz üçün ən yaxşı işləyən həlli seçin: statik resurslar üçün ayrı host adınız (cdn.example.com) olsun, əsas hostunuzu CDN ilə dəstəkləyin və ya hər ikisini edin. Google-un təqib infrastrukturu hər iki seçimi heç bir problem olmadan dəstəkləyir.

CDN-lər həddindən artıq qoruyucu olduqda

CDN-lərin daşqından qorunması və trekerlərin necə işləməsi səbəbindən, bəzən saytınızda olmasını istədiyiniz botlar CDN-inizin qara siyahısına, adətən onların Veb Tətbiqi Firewall-ına (WAF) düşə bilər. Bu, trekerlərin saytınıza daxil olmasının qarşısını alır ki, bu da son nəticədə saytınızın axtarış nəticələrində görünməsinin qarşısını ala bilər. Bloklama müxtəlif yollarla baş verə bilər, bəziləri saytın Google-un axtarış nəticələrindəki mövcudluğuna digərlərindən daha çox zərər verir və CDN tərəfində baş verdiyi üçün bunu idarə etməyiniz çətin (və ya qeyri-mümkün) ola bilər. Bu bloq yazısı məqsədi ilə onları iki kateqoriyaya ayırdıq: sərt bloklar və yumşaq bloklar.

Sərt bloklar

Sərt bloklar CDN-in təqib sorğusuna hansısa formada səhv olan cavab göndərdiyi hallardır. Bunlar ola bilər:

• HTTP 503/429 status kodları: Göndərmək
  bu status kodları müvəqqəti bloklanmanı bildirmək üçün
  üstünlük verilən üsuldur. Bu, CDN tərəfindən gözlənilməz bloklara reaksiya vermək üçün sizə müəyyən vaxt verəcək.
• Şəbəkə vaxtaşırıları: CDN-dən gələn şəbəkə vaxtaşırıları təsirlənmiş URL-lərin Google-un axtarış indeksindən silinməsinə səbəb olacaq, çünki bu
  şəbəkə səhvləri terminal, “sərt” səhvlər hesab olunur. Bundan əlavə, onlar saytın təqib sürətinə də əhəmiyyətli dərəcədə təsir edə bilər, çünki onlar bizim təqib infrastrukturumuza saytın həddindən artıq yükləndiyini bildirirlər.
• HTTP ilə təsadüfi səhv mesajı 200 status kodu: Həmçinin kimi də tanınır
  yumşaq səhvlər, bu xüsusilə pisdir. Səhv mesajı Google tərəfindən “sərt” səhvə bərabər tutularsa (məsələn, HTTP 500), Google URL-i Axtarışdan siləcək. Əgər Google səhv mesajlarını “sərt” səhvlər kimi aşkar edə bilməsə, eyni səhv mesaja malik bütün səhvlər Google-un axtarış indeksindən dublikat kimi silinə bilər. Google indeksləşdirməsinin dublikat URL-lərin yenidən təqib olunmasını tələb etmək üçün çox səbəbi olmadığı üçün bundan sağ çıxmaq daha çox vaxt ala bilər.

Yumşaq bloklar

CDN-iniz “insan olduğunuzdan əminsinizmi” interstisiallarını göstərdikdə oxşar problem ortaya çıxa bilər (sözün əsl mənasında).

Bizim trekerlərimiz əslində insan olmadığınıza və insan kimi davranmadıqlarına əmindirlər. Sadəcə təqib etmək istəyirlər. Lakin interstisial göründükdə, gördükləri yeganə şey budur, sizin əla saytınız deyil. Bu bot-doğrulama interstisialları halında, məzmunun müvəqqəti olaraq əlçatmaz olduğunu trekerlər kimi avtomatlaşdırılmış müştərilərə 503 HTTP status kodu şəklində açıq siqnal göndərməyi qəti şəkildə tövsiyə edirik. Bu, məzmunun Google indeksindən avtomatik olaraq silinməməsini təmin edəcək.

Bloklamaların sazlanması

Həm sərt, həm də yumşaq bloklamalar zamanı hər şeyin düzgün işlədiyini yoxlamağın ən asan yolu
Search Console-da URL İnspeksiya alətindən
istifadə etmək və render edilmiş təsviri müşahidə etməkdir: əgər o, səhifənizi göstərirsə, hər şey qaydasındadır; əgər boş səhifə, səhv və ya bot sınağı olan səhifə göstərirsə, CDN-inizlə bu barədə danışmaq istəyə bilərsiniz.

Bundan əlavə, bu gözlənilməz bloklamalara kömək etmək üçün Google, digər axtarış sistemləri və digər treker operatorları dərc edirlər
bizim IP ünvanlarımız botlarımızı tanımasına kömək etmək və uyğun hesab edirsinizsə, bloklanmış IP-ləri WAF qaydalarından çıxarmaq və ya hətta onlara icazə verilənlər siyahısı (allowlist) əlavə etmək üçün. Bunu harada edə biləcəyiniz istifadə etdiyiniz CDN-dən asılıdır; xoşbəxtlikdən əksər CDN-lərin və müstəqil WAF-ların əla sənədləri var. Qısa axtarışla tapa bildiyimiz bəziləri bunlardır (bu yazının dərc edildiyi tarixə əsasən):

• Cloudflare: https://developers.cloudflare.com/bots/get-started/free/#visibility
• Akamai: https://www.akamai.com/products/bot-manager
• Fastly: https://www.fastly.com/products/bot-management
• F5: https://clouddocs.f5.com/bigip-next/20-2-0/waf_management/waf_bot_protection.html
• Google Cloud: https://cloud.google.com/armor/docs/bot-management

Saytınızın axtarış sistemlərində görünməsini istəyirsinizsə, önəmsədiyiniz botların saytınıza daxil ola biləcəyini yoxlamağınızı qəti şəkildə tövsiyə edirik. Unutmayın ki, IP ünvanları xəbəriniz olmadan avtomatik olaraq qadağa siyahısına (blocklist) düşə bilər, ona görə də axtarışda və digər sahələrdə saytınızın uğuru üçün vaxtaşırı qadağa siyahılarını yoxlamaq yaxşı fikirdir. Əgər qadağa siyahısı çox uzundursa (bu bloq yazısı kimi), axtarış aparmaq əvəzinə, məsələn, yalnız IP diapazonlarının ilk bir neçə seqmentini tapmağa çalışın 192.168.0.101 sadəcə olaraq baxa bilərsiniz 192.168.

Bu, bizim
Crawling December bloq yazısı seriyasındakı son yazımız idi, ümid edirik ki, onları bizim yazmaqdan zövq aldığımız qədər bəyənmisiniz. Əgər sizdə… bla-bla-bla… qaydaları bilirsiniz.

Paylaşdı:
Martin Splitt və
Gary Illyes

Skan etmə (crawling) haqqında daha çox öyrənmək istəyirsiniz? Bütün Crawling December seriyasını nəzərdən keçirin: