Crawl büdcənizi optimallaşdırın

Bu bələdçi, çox böyük və tez-tez yenilənən saytlar üçün Google-un indeksləmə prosesini necə optimallaşdıracağınızı izah edir.

Əgər saytınızda sürətlə dəyişən çoxlu sayda səhifə yoxdursa və ya səhifələriniz dərc edildiyi gün indekslənirsə, bu bələdçini oxumağınıza ehtiyac yoxdur. Xüsusilə Google Search üçün, sitemap-ınızı güncəl saxlamaq və Səhifə İndeksləmə hesabatını müntəzəm yoxlamaq kifayətdir.

Bu bələdçi kimlər üçündür?

Bu bələdçidəki tövsiyələr ümumi olaraq yaxşı təcrübələr olsa da, bu, əsasən aşağıdakı sayt növləri üçün nəzərdə tutulmuş qabaqcıl bir bələdçidir:

• Məzmunu orta tezlikdə (həftədə bir dəfə) dəyişən böyük saytlar (1 milyondan çox unikal səhifə)
• Məzmunu çox sürətlə dəyişən (gündəlik) orta və ya daha böyük saytlar (10 000-dən çox unikal səhifə)
• Search Console tərəfindən Aşkar edilib – hazırda indekslənməyib kimi təsnif edilən çoxlu sayda URL-i olan saytlar

İndeksləmənin ümumi nəzəriyyəsi

İnternet, Google-un ictimaiyyətə açıq olan hər bir URL-i araşdırmaq imkanlarını aşan demək olar ki, sonsuz bir məkandır. Nəticədə, Google-un hər hansı bir saytı indeksləmək üçün ayıra biləcəyi vaxt və resursların məhdudiyyətləri var. Bu resursların ayrılması adətən saytın crawl budget-i (indeksləmə büdcəsi) adlanır. Bu kontekstdə, Google-un indeksləmə infrastrukturu saytı unikal host adı kimi müəyyən edir. Məsələn, https://www.example.com/ və https://code.example.com/ ayrı saytlar kimi qəbul edilir və ayrı-ayrı indeksləmə büdcələrinə malikdir. Saytın indeksləmə büdcəsi iki əsas elementlə müəyyən edilir: indeksləmə tutumu limiti və indeksləmə tələbi.

İndeksləmə tutumu limiti

Google serverlərinizi yükləmədən saytınızı indeksləmək istəyir. Bunun qarşısını almaq üçün Google-un indeksləyiciləri indeksləmə tutumu limitini (həmçinin hostload kimi tanınır) hesablayır. Bu, paralel bağlantıların sayı və müddəti nəzərə alınmaqla, serverinizin Google üçün bağlantıları açıq saxlamağa sərf etdiyi ümumi vaxtı məhdudlaşdırır. Bu, Google-un serverlərinizi yükləmədən bütün vacib məzmununuzu əhatə etməsini təmin edir.

Hər bir sayt eyni standart, mühafizəkar indeksləmə tutumu limiti ilə başlayır. Əgər daha çox indeksləmə tələbi varsa və sayt sağlam qalırsa, Google sistemləri zaman keçdikcə bu limiti avtomatik olaraq tənzimləyəcək.

İndeksləmə tutumu limiti bir neçə amilə əsasən arta və ya azala bilər:

• İndeksləmə sağlamlığı: Əgər sayt ardıcıl cavab verirsə və cavab müddətləri (gecikmə və İlk Bayta qədər vaxt daxil olmaqla) sabit qalır və ya yaxşılaşırsa, limit artır, yəni indeksləmə üçün daha çox bağlantı istifadə edilə bilər. Əgər sayt yavaşlayırsa (gecikmə artır və ya cavab müddətləri uzanır) və ya server xətaları (5xx HTTP status kodları) və ya sürət məhdudiyyəti siqnalları (məsələn, HTTP 429) ilə cavab verirsə, limit azalır və Google daha az indeksləyir.
• Google-un indeksləmə limitləri: Google-un resursları geniş olsa da, onlar məhduddur və biz internet üzrə resurs bölgüsünü prioritetləşdirməliyik.

İndeksləmə tələbi

Hər bir indeksləyicinin interneti indeksləyərkən özünəməxsus “tələbi” var və bu, həmin indeksləyiciyə xas amillərlə müəyyən edilir. Məsələn, AdsBot adətən sayt dinamik reklam hədəfləri işlətdikdə daha yüksək tələbə malik olur, Google Shopping isə tacir lentlərinizdəki məhsullar üçün daha yüksək tələbə malikdir.

Googlebot üçün tələb saytın ölçüsünə, yenilənmə tezliyinə, səhifə keyfiyyətinə və digər saytlarla müqayisədə aktuallığına görə dəyişir. Təsir edə biləcəyiniz əsas amillər bunlardır:

• Qavranılan inventar: Sizin rəhbərliyiniz olmadan, Google saytınızda bildiyi bütün və ya əksər URL-ləri indeksləməyə çalışır. Əgər bu URL-lərin çoxu dublikatdırsa və ya başqa səbəbdən (silinib, önəmsiz və s.) indekslənməsini istəmirsinizsə, bu, Google-un saytınızdakı indeksləmə vaxtını boşa xərcləyir. Bu, müsbət mənada ən çox nəzarət edə biləcəyiniz amildir.
• Populyarlıq: İnternetdə daha populyar olan URL-lər sistemlərimizdə daha təzə qalması üçün daha tez-tez indekslənməyə meyllidir.
• Köhnəlmə: Sistemlərimiz sənədləri hər hansı dəyişikliyi aşkar etmək üçün kifayət qədər tez-tez yenidən indeksləmək istəyir.

Bundan əlavə, sayt köçürülmələri kimi sayt miqyaslı hadisələr, yeni URL-lər altındakı məzmunu yenidən emal etmək üçün indeksləmə tələbinin artmasına səbəb ola bilər.

Xülasə

İndeksləmə tutumu və indeksləmə tələbini birlikdə nəzərə alaraq, Google saytın indeksləmə büdcəsini Google-un indeksləyə biləcəyi və indeksləmək istədiyi URL-lər dəsti kimi müəyyən edir. İndeksləmə tutumu limitinə çatılmasa belə, indeksləmə tələbi aşağıdırsa, Google saytınızı daha az indeksləyəcək.

Ən yaxşı təcrübələr

İndeksləmə səmərəliliyinizi maksimuma çatdırmaq üçün bu ən yaxşı təcrübələrə əməl edin:

• URL inventarınızı idarə edin: Google-a hansı səhifələrin indekslənəcəyini və hansıların indekslənməyəcəyini bildirmək üçün müvafiq alətlərdən istifadə edin. Əgər Google indeksləməməli olduğu URL-ləri indeksləməyə çox vaxt sərf edirsə, Google-un indeksləyiciləri saytınızın qalan hissəsini araşdırmaya bilər və ya indeksləmə büdcənizi artırmaya bilər.
  • Dublikat məzmunu konsolidasiya edin. İndeksləməni unikal URL-lərə deyil, unikal məzmuna yönəltmək üçün dublikat məzmunu aradan qaldırın.
  • robots.txt istifadə edərək URL-lərin indekslənməsini bloklayın. Bəzi səhifələr istifadəçilər üçün vacib ola bilər, lakin onların Google platformalarında görünməsini və ya Google sistemləri tərəfindən yenidən emal edilməsini istəməyə bilərsiniz. Nümunələrə əlaqəli səhifələrdəki məlumatları dublikat edən sonsuz sürüşdürmə (infinite scrolling) səhifələri və ya eyni səhifənin fərqli çeşidlənmə versiyaları daxildir. Əgər onları ilk bənddə təsvir edildiyi kimi konsolidasiya edə bilmirsinizsə, bu önəmsiz səhifələri robots.txt vasitəsilə bloklayın. URL-ləri robots.txt ilə bloklamaq Google-un onları indeksləməsinin qarşısını alır və URL-lərin digər Google sistemləri tərəfindən emal edilməsi (məsələn, Google Search tərəfindən indekslənməsi) şansını əhəmiyyətli dərəcədə azaldır.
  • Daimi olaraq silinmiş səhifələr üçün 404 və ya 410 status kodu qaytarın. Google bildiyi bir URL-i unutmayacaq, lakin 404 status kodu həmin URL-i bir daha indeksləməmək üçün güclü bir siqnaldır. Bununla belə, bloklanmış URL-lər indeksləmə növbənizin bir hissəsi olaraq daha uzun müddət qalacaq və blok silindikdə yenidən indekslənəcək.
  • soft 404 xətalarını aradan qaldırın. soft 404 səhifələri indekslənməyə davam edəcək və büdcənizi boşa xərcləyəcək. soft 404 xətaları üçün Səhifə İndeksləmə hesabatını yoxlayın.
  • Sitemap-larınızı güncəl saxlayın. Google sitemap-ınızı müntəzəm olaraq oxuyur, ona görə də Google-un indeksləməsini istədiyiniz bütün məzmunu daxil etdiyinizə əmin olun. Əgər saytınız yenilənmiş məzmunu əhatə edirsə, <lastmod> teqini daxil etməyi tövsiyə edirik.
  • Uzun yönləndirmə zəncirlərindən qaçın, çünki bu, indeksləməyə mənfi təsir göstərir.
• Səhifələrinizi yüklənmə üçün səmərəli edin. Əgər Google səhifələrinizi daha sürətli yükləyə və render edə bilsə, saytınızdan daha çox məzmun oxuya bilərik.
  • Yüklənmə sürətini yaxşılaşdırın: Səhifələrin daha sürətli yüklənməsi üçün server cavab müddətlərinizi və resurslarınızı optimallaşdırın.
  • HTTP keşləmədən istifadə edin: 304 (Not Modified) HTTP status kodlarını dəstəkləyin. Əgər səhifə Google-un sonuncu dəfə indeksləməsindən bəri dəyişməyibsə, 304 kodu qaytarmaq Google-a keşlənmiş versiyadan yenidən istifadə etməyi bildirir və serverinizin bant genişliyinə və resurslarına qənaət edir.
• İndeksləmə büdcəsi ilə bağlı problemləri diaqnostika edin. İndeksləmə zamanı saytınızda hər hansı əlçatanlıq problemi olub-olmadığını yoxlayın və indeksləməni daha səmərəli etmək üçün yollar axtarın.

İndeksləmə büdcəsini necə artıra bilərəm?

İndeksləmə büdcəsini artırmanın iki yolu var:

• Daha çox server resursu əlavə edin: Əgər saytınız server tutumu səbəbindən indekslənə bilmirsə (məsələn, URL yoxlama alətində Hostload exceeded xətası alırsınızsa), biznesiniz üçün məntiqlidirsə, daha çox server resursu əlavə edin.
• Məzmununuzun keyfiyyətini hədəflədiyiniz Google məhsulu üçün optimallaşdırın: Google hər bir sayta ayrılan indeksləmə resurslarını xüsusi Google məhsuluna aid olan elementləri nəzərə alaraq müəyyən edir. Məsələn, Google Search üçün buna populyarlıq, ümumi istifadəçi dəyəri, məzmunun unikallığı və xidmət tutumu kimi amillər daxildir.