Retry-After başlığı ilə birləşdirilmiş HTTP 429 status kodları veb serverinizə Googlebot-un tarama sürətini azaltmalı olduğunu bildirməyə imkan verir. Serveriniz həddindən artıq çox eyni vaxtda sorğu aşkar etdikdə, bu siqnal axtarış motoru botuna məzmununuza yenidən daxil olmağa cəhd etməzdən əvvəl fasilə verməyi və müəyyən edilmiş müddət gözləməyi bildirir. Bu texniki təcrübə serverin tükənməsinin qarşısını alır və yüksək tələbatlı hadisələr zamanı saytın sabitliyini qoruyur.
Niyə botlar üçün 429 status kodundan istifadə etməlisiniz?
Tarama büdcəsinə nəzarət texniki SEO-nun əsas aspekti olaraq qalır. Əgər Googlebot eyni vaxtda çoxlu URL tələb edərsə, verilənlər bazanız və server CPU-nuz bu sorğuları real insan trafiki ilə yanaşı emal etməkdə çətinlik çəkə bilər. Bu, cavab müddətlərinin artmasına səbəb olur ki, bu da real ziyarətçilər üçün istifadəçi təcrübəsinə mənfi təsir göstərir.
429 cavabı göndərmək, serverinizin müvəqqəti olaraq daha çox yükü idarə edə bilmədiyinə dair aydın bir siqnaldır. Bu yanaşma serverin çökməsinə və ya 5xx xətaları qaytarmasına icazə verməkdən daha üstündür. Server 5xx xətası qaytardıqda, bu uğursuzluğu bildirir, 429 isə saytın işlədiyini, lakin sorğu tezliyində müvəqqəti fasiləyə ehtiyac duyduğunu bildirir. Bu fərq axtarış motoruna saytınızı xarab kimi işarələmədən indeksləşdirmə prosesini davam etdirməyə imkan verir.
Məsələn, böyük bir satış kampaniyası keçirən tipik bir hesabda minlərlə bot eyni vaxtda serverə hücum edə bilər. Sürət məhdudiyyəti olmadan, server ödəniş səhifələrini real müştərilərə təqdim edə bilməyə bilər. Bot trafikini müəyyən edərək və 429 status kodları verərək, server öz resurslarını insan istifadəçilər üçün qoruyur və axtarış botu ilə əlaqə saxlayarkən konversiya yollarının açıq qalmasını təmin edir.
Bundan əlavə, 429 kodundan istifadə serverin hazırda həddindən artıq yükləndiyini, lakin yaxın gələcəkdə sorğulara cavab vermək niyyətində olduğunu bildirməyin standart yoludur. Çox vaxt texniki xidmət pəncərəsini nəzərdə tutan 503 xətasından fərqli olaraq, 429 kodu xüsusilə sorğu həcminin idarə edilməsinə aiddir. Bu, yeni məhsulun buraxılması maraq artımına səbəb olduqda olduğu kimi, qəfil trafik artımları zamanı backend-inizin yükü azaltmasına imkan verir.
Retry-After başlığı necə işləyir?
Retry-After başlığı saniyələrlə müddəti və ya Googlebot-a taramanı davam etdirməyin nə vaxt təhlükəsiz olduğunu dəqiq bildirən HTTP-tarixini təmin edir. Bu başlığı daxil etməklə, siz sadəcə xəta mesajı deyil, rəhbərlik təklif edirsiniz. Bu, botun problemin müvəqqəti olduğunu və daha sonra qayıtmalı olduğunu başa düşməsinə kömək edir ki, bu da sağlam indeksləşdirmə ritmini qorumaq üçün vacibdir.
Retry-After başlığı olmadan, bot dərhal yenidən qoşulmağa cəhd edə bilər ki, bu da 429 cavabları dövrəsi yaradardı. 30 və ya 60 saniyə kimi vaxt təyin etməklə, siz serverə növbəsini təmizləmək və bərpa etmək üçün vaxt verirsiniz. Bu, həm server tutumuna, həm də təzə indeks məlumatlarına olan ehtiyaca hörmət edən proqnozlaşdırıla bilən bir ritm yaradır.
İcra sadədir, lakin dəqiqlik tələb edir. Başlıqdakı dəyər dəqiq olmalıdır, çünki həddindən artıq aqressiv gözləmə müddəti indeksləşdirməni lazımsız yerə gecikdirə bilər, çox qısa dəyər isə başqa bir 429 dalğasına səbəb ola bilər. Verilənlər bazanıza gözləyən sorğuları emal etmək üçün vaxt vermək üçün yüksək yüklənmə dövrlərində 60 saniyəlik pəncərə ilə başlamağı təklif edirik.
- 429 cavabınızla birlikdə gözləmə müddətini saniyələrlə göstərən etibarlı Retry-After başlığını daxil edin.
- Gözləmə müddətindən sonra sonrakı uğurlu sorğular üçün serverin 200 OK statusu qaytardığından əmin olun.
- Googlebot-u 429 kodları ilə daimi olaraq bloklamayın, çünki bu, indeksdən çıxarılmaya səbəb olacaq.
- Gözləmə müddəti bitdikdən sonra tarama sürətinin tənzimləndiyinə əmin olmaq üçün server qeydlərinizi yoxlayın.
Sürət məhdudiyyətini tətbiq edərkən ümumi tələlər hansılardır?
Sayt sahibləri çox vaxt 429 kodlarını daimi qadağa ilə səhv salırlar. Müvəqqəti sürət limiti ilə tam giriş məhdudiyyəti arasında fərq qoymaq çox vacibdir. Əgər server uzun müddət 429 qaytarmağa davam edərsə, Googlebot bunu saytın artıq mövcud olmadığına dair bir işarə kimi şərh edə bilər və bu, indeks əhatə dairəsinin azalmasına səbəb ola bilər.
Digər bir ümumi xəta, 429 cavabını render üçün tələb olunan CSS, JavaScript və ya şəkil fayllarına tətbiq etməkdir. Əgər bot səhifəni başa düşmək üçün lazım olan resurslara daxil ola bilmirsə, o, səhifəni məzmunun natamam versiyasına əsasən indeksləşdirə bilər. Həmişə sürət məhdudiyyətinin səhifənin təhlili üçün vacib olan fərdi resursları bloklamaq əvəzinə, botun sorğu axınına bütövlükdə tətbiq olunduğundan əmin olun.
Bundan əlavə, CDN və ya WAF parametrlərinizlə ziddiyyətləri yoxlayın. Bəzən təhlükəsizlik qatları, mənşə serveriniz sabit olsa belə, bot fəaliyyəti aşkar etdikdə avtomatik olaraq 429 kodları verə bilər. Bu qatlar səhv konfiqurasiya edilibsə, onlar Googlebot-u tamamilə bloklaya bilər ki, bu da əks-məhsuldardır. WAF-ınızın Googlebot IP diapazonlarına aqressiv sürət məhdudlaşdırma qaydalarını keçməyə icazə vermək üçün konfiqurasiya edildiyini yoxlayın.
robots.txt faylı axtarış motoru botlarına saytınızda hansı URL-lərə daxil ola biləcəklərini bildirir.
Google Search Central
Alien Road bunu necə tətbiq edir
Alien Road-da biz pik satışlar və ya məzmun yeniləmələri zamanı yüksək tezlikli sorğular üçün server qeydlərini izləyərək tarama sürəti problemlərini idarə edirik. Biz serveri sorğular cari server tutumumuz tərəfindən müəyyən edilmiş xüsusi həddi aşdıqda 429 status kodu ilə cavab vermək üçün konfiqurasiya edirik. Bu, infrastrukturun insan istifadəçilər üçün əlçatan qalmasını təmin edərkən, botun necə hərəkət edəcəyinə dair aydın təlimatlar almasını təmin edir.
Komandamız tətbiqin indeksləşdirmə problemlərinə səbəb olmadan effektiv olmasını təmin etmək üçün strukturlaşdırılmış yanaşmanı izləyir. Biz bu konfiqurasiyalarda sürətdən çox dəqiqliyə üstünlük veririk, çünki yanlış sürət limiti saytın görünürlüğünə bilmədən zərər verə bilər. Məsələn, müştərinin mövsümi pik dövründə biz monitorinq panelimizdə server gecikməsi üç ardıcıl dəqiqədən çox 500ms-ni aşarsa 429 cavabını işə salan avtomatlaşdırılmış xəbərdarlıqlar quraşdırırıq.
Trafik artımı səngidikdən sonra biz sürət limitlərini tədricən yumşaldırıq və Google Search Console tarama hesabatını izləyirik. Bu məlumatlara əsaslanan yanaşma bizə yüksək tələbatlı hadisələr zamanı serveri qoruyarkən müştərilərimizin saytlarını indeksləşdirilmiş vəziyyətdə saxlamağa imkan verir. Biz 429 status koduna trafik idarəçiliyi üçün küt alət kimi deyil, cərrahi alət kimi yanaşırıq.
- Server giriş qeydlərinizdə yüksək yüklənmə seqmentlərini müəyyən etmək üçün mövcud tarama nümunələrini yoxlayın.
- CPU istifadəsi və ya yaddaş yükü kimi real vaxt rejimində server sağlamlığı göstəricilərinə əsaslanan dinamik sürət məhdudiyyəti qurun.
- Googlebot-un fasilə əmrini düzgün şərh etdiyinə əmin olmaq üçün Retry-After başlığını hazırlıq mühitində sınaqdan keçirin.
- Tarama sürətinin sabit qaldığını təsdiqləmək üçün Google Search Console indeksləşdirmə hesabatlarını izləyin.
Bu həftə haradan başlamaq lazımdır
Googlebot fəaliyyətindəki artımları yoxlamaq üçün bu həftə cari server qeydlərinizi nəzərdən keçirin. Serverin cavab müddətinin artdığı dövrləri müəyyən etsəniz, 429 status kodu məntiqini tətbiq edin. Tarama büdcənizə hər hansı mənfi təsirin qarşısını almaq üçün mühafizəkar bir Retry-After dəyəri təyin etməklə başlayın. Bu kiçik, ölçülmüş addımları atmaqla siz axtarış motoru ilə peşəkar əlaqəni qoruyarkən rəqəmsal əməliyyatlarınızın əsasını qoruyursunuz.
Son yeddi günün giriş qeydlərini təhlil etməklə başlayın. Googlebot istifadəçi agentlərini filtrləmək və dəqiqədə sorğu sayını hesablamaq üçün əmr satırı alətindən və ya qeyd təhlili platformanızdan istifadə edin. Saytınızdakı performans problemləri ilə üst-üstə düşən davamlı zirvələr görürsünüzsə, 429 status kodunu tətbiq etmək üçün həddinizi burada müəyyən etməlisiniz.