Bazar ertəsi, 16 yanvar 2017
Son vaxtlar “crawl budget” (taramə büdcəsi) ilə bağlı bir çox tərif eşitmişik, lakin “crawl budget” ifadəsinin xaricdə təmsil etdiyi hər şeyi əhatə edən tək bir terminimiz yoxdur. Bu yazıda əlimizdə nə olduğunu və bunun Googlebot üçün nə demək olduğunu aydınlaşdıracağıq.
İlk növbədə, vurğulamaq istərdik ki, aşağıda təsvir olunan tarama büdcəsi əksər naşirlərin narahat olmalı olduğu bir şey deyil. Əgər yeni səhifələr adətən dərc edildiyi gün taranırsə, veb-ustaların tarama büdcəsinə fokuslanmasına ehtiyac yoxdur. Eynilə, əgər saytın bir neçə mindən az URL-i varsa, əksər hallarda o, səmərəli şəkildə taranacaq.
Nəyin taramalı olduğunu, nə vaxt və sayta ev sahibliyi edən serverin tarama üçün nə qədər resurs ayıra biləcəyini müəyyən etmək məsələn, daha böyük saytlar və ya URL parametrləri əsasında avtomatik səhifələr yaradanlar üçün daha vacibdir.
Tarama sürəti həddi
Googlebot internetin yaxşı sakini olmaq üçün nəzərdə tutulmuşdur. Taramak onun əsas prioritetidir, eyni zamanda sayta baş çəkən istifadəçilərin təcrübəsini pisləşdirməməsini təmin edir. Biz bunu sayt üçün maksimum gətirmə sürətini məhdudlaşdıran “tarama sürəti həddi” (crawl rate limit) adlandırırıq.
Sadə desək, bu, Googlebot-un saytı taramaq üçün istifadə edə biləcəyi eyni vaxtda paralel əlaqələrin sayını, həm də gətirmələr arasında gözləməli olduğu vaxtı təmsil edir. Tarama sürəti bir neçə amildən asılı olaraq aşağı və ya yuxarı qalxa bilər:
- Tarama sağlamlığı: Əgər sayt bir müddət həqiqətən sürətli cavab verərsə, hədd yüksəlir, yəni tarama üçün daha çox əlaqə istifadə edilə bilər. Əgər sayt yavaşlarsa və ya server xətaları ilə cavab verərsə, hədd aşağı düşür və Googlebot daha az tarayır.
- Search Console-da
təyin edilmiş hədd: Veb-sayt sahibləri Googlebot-un saytlarını taramasını azalda bilərlər. Nəzərə alın ki, daha yüksək hədlərin təyin edilməsi taramanı avtomatik olaraq artırmır.
Tarama tələbi
Tarama sürəti həddinə çata bilməsə belə, indeksləşdirmədən tələb yoxdursa, Googlebot-dan aşağı fəaliyyət olacaqdır. Tarama tələbini müəyyən etməkdə mühüm rol oynayan iki amil bunlardır:
- Populyarlıq: İrternetdə daha populyar olan URL-lər indeksimizdə onları daha təzə saxlamaq üçün daha tez-tez taramağa meyillidir.
- Köhnəlmə: Sistemlərimiz URL-lərin indeksdə köhnəlməsinin qarşısını almağa çalışır.
Bundan əlavə, sayt köçürülməsi kimi ümumi sayt tədbirləri məzmunun yeni URL-lər altında yenidən indeksləşdirilməsi üçün tarama tələbinin artmasına səbəb ola bilər.
Tarama sürətini və tarama tələbini birləşdirərək tarama büdcəsini Googlebot-un taramaq imkanına malik olduğu və taramaq istədiyi URL-lərin sayı kimi təyin edirik.
Tarama büdcəsinə təsir edən amillər
, əhəmiyyət sırasına görə:
- Fasetli naviqasiya və
seans identifikatorları - Saytdaxili dublikat məzmun
- Yumşaq xəta səhifələri
- Haker hücumuna məruz qalmış səhifələr
- Sonsuz məkanlar və proksilər
- Aşağı keyfiyyətli və spam məzmun
Server resurslarını belə səhifələrə sərf etmək tarama fəaliyyətini həqiqətən dəyəri olan səhifələrdən yayındıracaq ki, bu da saytda əla məzmunun aşkar edilməsində əhəmiyyətli gecikməyə səbəb ola bilər.
Əsas suallar
Tarama saytların Google-un axtarış nəticələrinə daxil olmaq üçün giriş nöqtəsidir. Veb-saytın səmərəli taranması onun Google Axtarışda indekslənməsinə kömək edir.
Sayt sürəti mənim tarama büdcəmə təsir edirmi? Bəs xətalar?
Saytı daha sürətli etmək istifadəçilərin təcrübəsini yaxşılaşdırmaqla yanaşı tarama sürətini də artırır. Googlebot üçün sürətli sayt sağlam serverlərin əlamətidir, buna görə də o, eyni sayda əlaqə üzərindən daha çox məzmun əldə edə bilər. Digər tərəfdən, 5xx xətalarının və ya əlaqənin vaxtaşırı bitməsinin əhəmiyyətli sayı bunun əksini bildirir və tarama yavaşlayır.
Diqqət yetirməyi tövsiyə edirik
Search Console-dakı Tarama Xətaları hesabatı
və server xətalarının sayını aşağı saxlamaq.
Taramak reytinq amilidirmi?
Artan tarama sürəti mütləq Axtarış nəticələrində daha yaxşı mövqelərə gətirib çıxarmayacaq. Google nəticələri sıralamaq üçün yüzlərlə siqnaldan istifadə edir və tarama nəticələrdə olmaq üçün lazım olsa da, bu, reytinq siqnalı deyil.
Alternativ URL-lər və daxil edilmiş məzmun tarama büdcəsinə daxildirmi?
Ümumiyyətlə, Googlebot-un taradığı hər hansı bir URL saytın tarama büdcəsinə hesablanacaq. AMP və ya hreflang kimi alternativ URL-lər, eləcə də AJAX daxil olmaqla CSS və JavaScript kimi daxil edilmiş məzmun (məsələn, XHR) zəngləri taranmalı ola bilər və saytın tarama büdcəsini istehlak edəcək. Eynilə, uzun yönləndirmə zəncirləri taramaya mənfi təsir göstərə bilər.
Googlebot-u crawl-delay qaydası ilə idarə edə bilərəmmi?
Qeyri-standart crawl-delay robots.txt qaydası Googlebot tərəfindən işlənmir.
nofollow qaydası tarama büdcəsinə təsir edirmi? Asılıdır. Taranan hər hansı bir URL tarama büdcəsinə təsir edir, ona görə də səhifəniz bir URL-i
nofollow kimi qeyd etsə belə, əgər saytınızdakı başqa bir səhifə və ya internetdəki hər hansı bir səhifə bu keçidi nofollow kimi etiketləməyibsə, o yenə də taranı bilər. Robots.txt vasitəsilə girişinə icazə vermədiyim URL-lər tarama büdcəmə hər hansı şəkildə təsir edirmi?
Xeyr, icazə verilməyən URL-lər tarama büdcəsinə təsir etmir.
Saytınızın taramasını optimallaşdırmaq barədə məlumat üçün hələ də keçərli olan 2009-cu ilə aid
taramanın optimallaşdırılması
haqqında bloq yazımıza nəzər salın. Suallarınız varsa,
forumlarda
soruşun!
Bunu necə tətbiq edirik
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Əlaqəli xidmətlər