Crawl büdcənizi optimallaşdırın

Bu bələdçi, Google-un çox böyük və tez-tez yenilənən saytları taramasını optimallaşdırmağın yollarını təsvir edir.

Əgər saytınızda sürətlə dəyişən çoxlu sayda səhifə yoxdursa və ya səhifələriniz dərc edildiyi gün tarandığı görünürsə, bu bələdçini oxumağınıza ehtiyac yoxdur. Xüsusilə Google Axtarış üçün,
sayt xəritənizi yeniləmək və
Səhifə İndeksləmə hesabatını yoxlamaq
müntəzəm olaraq kifayətdir.

Bu bələdçi kimlər üçündür

Bu bələdçidəki tövsiyələr ümumiyyətlə yaxşı təcrübələr olsa da, bu, əsasən aşağıdakı sayt növləri üçün nəzərdə tutulmuş qabaqcıl bir bələdçidir:

• Məzmunu orta dərəcədə tez-tez (həftədə bir dəfə) dəyişən böyük saytlar (1 milyondan çox unikal səhifə)
• Məzmunu çox sürətlə dəyişən (gündəlik) orta və ya daha böyük saytlar (10 000-dən çox unikal səhifə)
• Search Console tərəfindən aşağıdakı kimi təsnif edilən ümumi URL-lərinin böyük bir hissəsi olan saytlar:
  Aşkarlanıb – hazırda indekslənməyib

Tarama haqqında ümumi nəzəriyyə

İnternet, Google-un hər bir ictimaiyyətə açıq URL-i kəşf etmək qabiliyyətini aşan demək olar ki, sonsuz bir məkandır. Nəticədə, Google-un hər hansı bir saytı taramaq üçün ayıra biləcəyi vaxt və resursların məhdudiyyətləri var. Bu resursların ayrılması adətən saytın
crawl büdcəsiadlanır. Bu kontekstdə, Google-un tarama infrastrukturu saytı unikal host adı kimi müəyyən edir. Məsələn, https://www.example.com/ və
https://code.example.com/ ayrı saytlar kimi qəbul edilir və ayrı-ayrı crawl büdcələrinə malikdir. Saytın crawl büdcəsi iki əsas elementlə müəyyən edilir: tarama tutumu limiti və
tarama tələbi.

Tarama tutumu limiti

Google serverlərinizi yükləmədən saytınızı taramaq istəyir. Bunun qarşısını almaq üçün Google-un botları tarama tutumu limitini (həmçinin
hostloadkimi tanınır) hesablayır. Bu, serverinizin Google üçün açıq əlaqələri saxlamağa sərf etdiyi ümumi vaxtı məhdudlaşdırır, həm paralel əlaqələrin sayını, həm də onların müddətini nəzərə alır. Bu, Google-un serverlərinizi yükləmədən bütün vacib məzmununuzu əhatə edə bilməsini təmin edir.

Hər bir sayt eyni standart, mühafizəkar tarama tutumu limiti ilə başlayır. Daha çox taramaq üçün tələb varsa və sayt sağlam qalırsa, Google-un sistemləri zaman keçdikcə bu limiti avtomatik olaraq tənzimləyəcək.

Tarama tutumu limiti bir neçə amilə əsasən arta və azala bilər:

• Tarama sağlamlığı: Sayt ardıcıl olaraq cavab verirsə və cavab müddətləri (gecikmə və İlk Bayta qədər Vaxt daxil olmaqla) sabit qalırsa və ya yaxşılaşırsa, limit artır, yəni tarama üçün daha çox əlaqə istifadə edilə bilər. Sayt yavaşlayarsa (gecikmə artırsa və ya cavab müddətləri uzanarsa) və ya server xətaları (5xx HTTP status kodları) və ya sürət məhdudlaşdırma siqnalları (məsələn, HTTP 429) ilə cavab verərsə, limit azalır və Google daha az tarayır.
• Google-un tarama limitləri: Google-un resursları geniş olsa da, onlar məhduddur və biz internet üzrə resurs bölgüsünə üstünlük verməliyik.

Tarama tələbi

Hər bir botun interneti taramaqla bağlı öz “tələbi” var və bu, həmin bota xas olan amillərlə müəyyən edilir. Məsələn, AdsBot ümumiyyətlə sayt dinamik reklam hədəflərini işlətdikdə daha yüksək tələbə malikdir və Google Shopping tacir lentlərinizdə olan məhsullar üçün daha yüksək tələbə malikdir.

Üçün Googlebot, tələb saytın ölçüsünə, yenilənmə tezliyinə, səhifə keyfiyyətinə və digər saytlarla müqayisədə aktuallığına əsasən dəyişir. Təsir edə biləcəyiniz əsas amillər bunlardır:

• Qavranılan inventar: Sizin rəhbərliyiniz olmadan, Google saytınızda bildiyi bütün və ya əksər URL-ləri taramağa çalışır. Əgər bu URL-lərin çoxu dublikatdırsa və ya başqa səbəbdən (silinib, əhəmiyyətsiz və s.) onların taranmasını istəmirsinizsə, bu, Google-un saytınızda tarama vaxtını çox israf edir. Bu, müsbət mənada ən çox nəzarət edə biləcəyiniz amildir.
• Populyarlıq: İnternetdə daha populyar olan URL-lər sistemlərimizdə daha təzə qalması üçün daha tez-tez taramağa meyllidir.
• Köhnəlmə: Sistemlərimiz sənədləri hər hansı dəyişikliyi aşkar etmək üçün kifayət qədər tez-tez yenidən taramaq istəyir.

Bundan əlavə, sayt köçürülmələri kimi sayt miqyaslı hadisələr yeni URL-lər altındakı məzmunu yenidən emal etmək üçün tarama tələbinin artmasına səbəb ola bilər.

Xülasə

Tarama tutumu və tarama tələbini birlikdə götürdükdə, Google saytın crawl büdcəsini Google-un taraya biləcəyi və taramaq istədiyi URL-lər dəsti kimi müəyyən edir. Tarama tutumu limitinə çatılmasa belə, tarama tələbi aşağıdırsa, Google saytınızı daha az tarayacaq.

Ən yaxşı təcrübələr

Tarama səmərəliliyinizi maksimuma çatdırmaq üçün bu ən yaxşı təcrübələrə əməl edin:

• URL inventarınızı idarə edin: Google-a hansı səhifələrin taranacağını və hansıların taranmayacağını bildirmək üçün müvafiq alətlərdən istifadə edin. Əgər Google taramamalı olduğu URL-ləri taramağa çox vaxt sərf edirsə, Google-un botları saytınızın qalan hissəsini kəşf etməyə bilər və ya crawl büdcənizi artırmaya bilər.
  • Dublikat məzmunu konsolidasiya edin.
    Taramanı unikal URL-lər əvəzinə unikal məzmuna yönəltmək üçün dublikat məzmunu aradan qaldırın.
  • robots.txt istifadə edərək URL-lərin taranmasını bloklayın. Bəzi səhifələr istifadəçilər üçün vacib ola bilər, lakin siz onların mütləq Google səthlərində görünməsini və ya Google sistemləri tərəfindən yenidən emal edilməsini istəməyə bilərsiniz. Nümunələrə əlaqəli səhifələrdəki məlumatları təkrarlayan sonsuz sürüşdürmə səhifələri və ya eyni səhifənin fərqli çeşidlənmiş versiyaları daxildir. Əgər onları ilk maddədə təsvir edildiyi kimi konsolidasiya edə bilmirsinizsə, bu əhəmiyyətsiz səhifələri
    robots.txtistifadə edərək bloklayın. URL-ləri robots.txt ilə bloklamaq Google-un onları taramasının qarşısını alır və URL-lərin digər Google sistemləri tərəfindən emal edilməsi (məsələn, Google Axtarış tərəfindən indekslənməsi) şansını əhəmiyyətli dərəcədə azaldır.
  • Daimi olaraq silinmiş səhifələr üçün 404 404 410 və ya
    410 404 status kodu qaytarın.
  • Google bildiyi URL-i unutmayacaq, lakin 410 status kodu həmin URL-i bir daha taramamaq üçün güclü bir siqnaldır. Bloklanmış URL-lər isə tarama növbənizdə daha uzun müddət qalacaq və blok ləğv edildikdə yenidən taranacaq..
    Aradan qaldırın soft 404
    xətalarını
    soft 404 səhifələri taranmağa davam edəcək və büdcənizi boşa xərcləyəcək. Səhifə İndeksləmə hesabatını yoxlayın Səhifə İndeksləmə hesabatı
  • üçün soft 404 xətaları. Sayt xəritələrinizi yeniləyin.
  • Google sayt xəritənizi mütəmadi olaraq oxuyur, ona görə də Google-un taramasını istədiyiniz bütün məzmunu daxil etdiyinizə əmin olun. Saytınız yenilənmiş məzmunu ehtiva edirsə,<lastmod>
• teqini daxil etməyi tövsiyə edirik..
  Uzun yönləndirmə zəncirlərindən qaçın
  • , çünki bunlar taramaya mənfi təsir göstərir. Səhifələrinizin yüklənməsini səmərəli edin
  • Google səhifələrinizi daha sürətli yükləyib render edə bilsə, saytınızdan daha çox məzmun oxuya bilərik. Yüklənmə sürətini yaxşılaşdırın:
    Səhifələrin daha sürətli yüklənməsi üçün server cavab müddətlərinizi və resurslarınızı optimallaşdırın. HTTP keşləmədən istifadə edin:Dəstəkləyin 304 304 (Dəyişdirilməyib)
• HTTP status kodları.
  . Əgər səhifə Google-un sonuncu dəfə taradığı vaxtdan bəri dəyişməyibsə,

304

kodu qaytarmaq Google-a keşlənmiş versiyadan istifadə etməyi bildirir, bu da serverinizin bant genişliyini və resurslarını qənaət edir.

• Tarama büdcəsi ilə bağlı problemləri diaqnostika edinSaytınızın tarama zamanı hər hansı əlçatanlıq problemi olub-olmadığını yoxlayın və taramanı daha səmərəli etmək üçün yollar axtarın.
  Tarama büdcəsini necə artıra bilərəm?
  Tarama büdcəsini artırmanın iki yolu var:
• Daha çox server resursu əlavə edin: Əgər saytınız sizin tərəfinizdən server tutumu səbəbindən tarana bilmirsə (məsələn, URL yoxlama alətində