Saytın crawl büdcəsi optimallaşdırılması bələdçisi

Google hər bir sayta domeninin sağlamlığını və aktuallığını əks etdirən xüsusi siqnallara əsasən crawl tutumu təyin edir. Populyarlıq botun səhifələrinizə nə qədər vaxt ayırmalı olduğunun əsas göstəricisi kimi xidmət edir. Əgər saytınız istifadəçilərin tez-tez daxil olduğu dəyərli, yüksək keyfiyyətli məzmun təqdim edirsə, Googlebot-un daha tez-tez ziyarət etməsi ehtimalı yüksəkdir. Bu, keyfiyyətli məzmunun daha tez-tez indekslənməyə təşviq etdiyi, bunun da öz növbəsində yeni səhifələrinizin axtarış nəticələrində daha tez görünməsinə kömək etdiyi bir əks əlaqə dövrəsi yaradır.

Köhnəlmə saytınızın crawl tezliyinə təsir edən ikinci əsas amildir. Səhifələrinizdəki məzmun uzun müddət dəyişməz qalarsa, Googlebot saytı daha az aktiv kimi qəbul edir. Məlumatlarını nadir hallarda yeniləyən və ya yeni səhifələr əlavə etməyən sayt, dinamik məzmun təqvimini saxlayan saytla müqayisədə daha az ziyarət ala bilər. Saytınızı təzə saxlamaq hər səhifəni gündəlik yenidən yazmaq demək deyil, daha çox mövcud məzmunun aktual olmasını və indeksin yenilənməsi üçün mütəmadi olaraq yeni, yüksək keyfiyyətli səhifələrin əlavə edilməsini təmin etmək deməkdir.

Aşağı dəyərli URL-lər istifadəçilər və ya axtarış motorları üçün az fayda verən, məsələn, zəif məzmun, dublikat səhifələr və ya texniki artefaktlar olan səhifələrdir. Tipik bir hesabda bu səhifələr orqanik axtarış görünürlüğünə töhfə vermədən crawl büdcəsinin əhəmiyyətli bir hissəsini istehlak edir. Googlebot bu səhifələri emal etməyə vaxt sərf etdikdə, əslində əsas səhifələriniz üçün istifadə edilə biləcək tutumu boşa xərcləyir. Bu URL-ləri müəyyən etmək və idarə etmək, yeni məzmun yaratmağa ehtiyac olmadan ümumi crawl səmərəliliyinizi artırmanın ən birbaşa yoludur.

Məsələn, geyim satan bir Shopify mağazası, faset naviqasiya və ya filtr parametrləri vasitəsilə minlərlə unikal URL yarada bilər. Əgər bu filtrlənmiş URL-lər indekslənə bilərsə, Googlebot məhsul kateqoriyası səhifəsinin ölçü, rəng və ya qiymət aralığı kimi hər bir variasiyasını crawl etməyə çalışacaq. Bu, crawler üçün böyük miqdarda səs-küy yaradır. Bu parametrləri bloklamaq və ya kanonikləşdirməklə, botun vaxtını lazımsız variasiyalara sərf etməsinin qarşısını alır və onun yalnız əsas məhsul və kateqoriya səhifələrinizə diqqət yetirməsinə imkan yaradırsınız.

Google Search Console hesabınızda yerləşən Crawl Stats hesabatını nəzərdən keçirməklə başlayın. Bu hesabat Googlebot-un saytınızla necə qarşılıqlı əlaqədə olduğuna dair, o cümlədən son 90 gün ərzində edilmiş sorğuların sayı haqqında xüsusi məlumatlar təqdim edir. Aşağı dəyərli səhifələrə və ya texniki xətalara uyğun gələ biləcək crawl fəaliyyətindəki sıçrayışları yoxlayın. İndeksinizə aid olmayan səhifələr üçün çox sayda sorğu görürsünüzsə, təkmilləşdirmə üçün aydın bir sahə müəyyən etmisiniz.

Search Console-dan kənarda, botun hansı faylları tələb etdiyini dəqiq görmək üçün server loqlarından istifadə edin. Server loqları tez-tez üçüncü tərəf SEO alətlərindən daha dəqiq olan qranulyar bir görünüş təqdim edir. Crawler-in xüsusi qovluqlara təkrar-təkrar daxil olduğu nümunələri axtarın. Əgər botun vaxtının 40 faizini köhnə arxiv qovluğuna və ya köhnə etiketləmə sisteminə sərf etdiyini görsəniz, dərhal təmizlənmə üçün əsas namizəd tapmısınız. Bu məlumatlara əsaslanan yanaşma texniki optimallaşdırma səylərinizdən təxminləri aradan qaldırır.

• Dublikat məzmun üçün siqnalları birləşdirmək üçün bütün səhifələrdə kanonik etiketləri tətbiq edin.
• İdarəetmə panellərinə, axtarış nəticələri səhifələrinə və ya əhəmiyyətsiz filtr parametrlərinə girişi qadağan etmək üçün robots.txt faylından istifadə edin.
• Saytınızın sürətli olduğundan əmin olun; serveriniz sorğulara tez cavab verdikdə Googlebot daha çox səhifəni crawl edə bilər.
• XML sayt xəritənizi yalnız ən vacib URL-ləri daxil etmək üçün yeniləyin, zəif səhifələri və yönləndirmələri istisna edin.
• Botu lazımsız keçidləri izləməyə məcbur edən uzun zəncirlər yaratmadığınızdan əmin olmaq üçün 301 yönləndirmələrindən qənaətlə istifadə edin.

Texniki təmizləmə detallara diqqət tələb edən davamlı bir prosesdir. Hər dəfə lazımsız bir URL-i sildikdə və ya qırıq bir yönləndirməni düzəltdikdə, effektiv şəkildə Googlebot-a yüksək konversiya gətirən məzmununuza sərf etmək üçün daha çox vaxt verirsiniz. Bu, məzmunu Google-dan gizlətmək deyil, daha çox doğru məzmunu doğru maşına göstərdiyinizdən əmin olmaqdır. Sayt strukturunuzu təmiz saxlamaqla, crawler-in sonsuz döngələrə və ya domeninizin aşağı keyfiyyətli budaqlarına düşmə ehtimalını azaldırsınız.

Bir neçə alət botun saytınızla necə qarşılıqlı əlaqədə olduğunu izləməyə və idarə etməyə kömək edə bilər. Google Search Console-dakı robots.txt tester, dəyişiklikləri canlı saytınıza göndərməzdən əvvəl sintaksis xətalarını yoxlamağa imkan verir. Bu çox vacibdir, çünki bu fayldakı kiçik bir səhv təsadüfən Google-un bütün saytınızı indeksləməsinin qarşısını ala bilər. Botun render üçün lazım olan kritik CSS və JavaScript fayllarınıza hələ də girişi olduğundan əmin olmaq üçün dəyişikliklərinizi həmişə tester-də yoxlayın.

Bundan əlavə, Nginx və ya Apache kimi veb server konfiqurasiyaları serverin daxil olan sorğuları necə idarə etdiyinə nəzarət etməyə imkan verir. Artıq mövcud olmayan səhifələr üçün 404 və ya 410 status kodu qaytara bilərsiniz, bu da crawler-ə həmin səhifələri indeksdən çıxarmalı olduğunu bildirir. Əgər geniş miqyaslı bir müəssisə saytı idarə edirsinizsə, serverinizə çox aqressiv şəkildə daxil olan botların sürətini məhdudlaşdırmağı düşünə bilərsiniz. Bu, crawler-in işini görməsinə icazə verərkən, server resurslarınızın pik trafik vaxtlarında real istifadəçilər üçün əlçatan qalmasını təmin edir.

Düz sayt arxitekturası ümumiyyətlə səmərəli crawl üçün üstünlük təşkil edir. Düz bir strukturda, ən vacib səhifələrinizin əksəriyyəti ana səhifədən üç kliklə əldə edilə bilər. Bu, crawler-in keçməli olduğu dərinliyi minimuma endirir və hətta aşağı səviyyəli səhifələrin kifayət qədər nüfuz və diqqət almasını təmin edir. Əgər saytınız dərindən yuvalanmışdırsa, crawler iyerarxiyanızın sonuna heç vaxt çatmaya bilər. Naviqasiyanızı ən vacib məzmununuzu vurğulamaq üçün yenidən təşkil etmək Googlebot üçün bir yol xəritəsi rolunu oynayır.

Daxili keçid strategiyanızı məzmuna üstünlük vermək üçün bir yol kimi nəzərdən keçirin. Googlebot yeni səhifələri kəşf etmək üçün keçidləri izləyir, ona görə də ana səhifənizdən və ya yüksək səviyyəli naviqasiyanızdan vacib səhifələrə keçid etmək təbii olaraq onların prioritetini bildirir. Əksinə, əgər bir səhifə basdırılıbsa və ona işarə edən daxili keçidlər yoxdursa, crawler çox güman ki, onu əhəmiyyətsiz hesab edəcək. Alien Road, ən vacib səhifələrinizin həm istifadəçilər, həm də axtarış motoru botları üçün ən əlçatan qalmasını təmin etmək üçün daxili keçidlərinizi rüblük olaraq yoxlamağınızı tövsiyə edir.