SEO üçün İndekslənmə və Krollanma (Crawlability) izahı

Krollanma axtarış sisteminin optimallaşdırılmasının texniki təməlidir, çünki o, axtarış sisteminin məzmununuzu görüb-görməyəcəyini müəyyən edir. Tipik bir veb sayt üçün Googlebot hansı qovluqların qadağan olunduğunu görmək üçün robots.txt faylını yükləməklə başlayır. Saytınızın strukturu qarışıqdırsa və ya server cavab müddətləriniz yavaşdırsa, bot tez-tez ziyarəti dayandıra bilər ki, bu da yeni məqalələrin və ya məhsul yeniləmələrinin kəşfinin gecikməsinə səbəb olur. Tipik bir hesabda biz tez-tez görürük ki, dərin yuvalanmış arxitekturalar — səhifənin ana səhifədən dörd klikdən çox uzaqda olduğu hallar — zəif kroll tezliyindən əziyyət çəkir. Bot qırıq bir keçid və ya yönləndirmə döngəsi ilə qarşılaşdıqda, o, məhdud resurslarını, yəni kroll büdcəsini boş yerə sərf edir və vacib məzmuna çatmazdan əvvəl saytı tərk edir.

Server performansı da saytın nə dərəcədə effektiv kroll edildiyini müəyyən edir. Əgər serverin cavab verməsi 200ms-dən çox vaxt aparırsa, Googlebot saytın çökməsinin qarşısını almaq üçün səhifə sorğularının sürətini azalda bilər. Bu, xüsusilə minlərlə SKU-su olan böyük e-ticarət platformaları üçün nəzərə çarpır. Ümumi bir nümunə ondan ibarətdir ki, ağır şəkillərdən və ya optimallaşdırılmamış skriptlərdən istifadə edən saytlarda kroll tezliyi azalır. Sağlam kroll dərəcəsini qorumaq üçün texniki komandalar Google Search Console-dakı ‘Kroll Statistikası’ hesabatını izləməlidirlər. Bu hesabat gündəlik neçə sorğunun edildiyini və botun keçid qrafiki boyunca hərəkətinə mane olan 404 xətaları və ya 500-cü səviyyəli server xətaları ilə qarşılaşıb-qarşılaşmadığını göstərir.

Səhifə kroll edildikdən sonra axtarış sistemi onun daimi verilənlər bazasında saxlanmağa dəyər olub-olmadığına qərar verməlidir. İndekslənmə bot üçün HTML etiketləri və başlıqlar vasitəsilə göndərdiyiniz siqnallardan asılıdır. İndekslənmənin qarşısını almağın ən birbaşa yolu ‘noindex’ meta etiketidir. Bu, Google-a bildirir ki, səhifəni tapmasına baxmayaraq, onu istifadəçilərə göstərməməlidir. Digər bir ümumi amil kanonik etiketdir. Əgər üç oxşar məhsul səhifəniz varsa, lakin yalnız bir kanonik etiket tək bir versiyaya işarə edirsə, digər iki səhifə kroll ediləcək, lakin indekslənməyəcək. Bu, uğursuzluq deyil, axtarış nəticələrində dublikat məzmun problemlərinin qarşısını almaq üçün qəsdən verilmiş təlimatdır.

Məzmunun keyfiyyəti və unikallığı da indekslənməyə təsir edir. Googlebot bir səhifəni kroll edə bilər, lakin məzmun çox zəifdirsə və ya başqa mənbədən kopyalanıbsa, onu indeksləməməyə qərar verə bilər. Tipik bir auditdə biz görürük ki, 200 sözdən az orijinal mətni olan səhifələr və ya yalnız filtrlər tərəfindən yaradılan səhifələr (məsələn, mağazada qiymət aralığı seçimləri) tez-tez indeksdən çıxarılır. Google Search Central sənədləşdirir ki, indekslənmə Google-un səhifələri saxlaması və göstərməsi deməkdir, ona görə də bot səhifənin istifadəçi üçün heç bir dəyəri olmadığını hiss edərsə, sadəcə saxlama mərhələsini ötürəcək. Bu, axtarış nəticələrinin son istifadəçi üçün aktual və yüksək keyfiyyətli qalmasını təmin edir.

Bəli, bu Google Search Console hesabatlarında tez-tez rast gəlinən bir haldır. ‘Kroll edilib – hazırda indekslənməyib’ statusu o deməkdir ki, Googlebot URL-ə uğurla çatıb və məzmunu oxuyub, lakin hansısa səbəbdən onu axtarış indeksinə əlavə etməməyə qərar verib. Bu, çox vaxt Google-un məzmunun kifayət qədər unikal olmadığına inanması və ya səhifənin artıq tapdığı başqa bir səhifənin dublikatı olması səbəbindən baş verir. Bəzi hallarda bu, sadəcə vaxt məsələsi ola bilər; Google bir səhifəni kroll edə bilər, lakin ona işarə edən daha çox xarici və ya daxili keçid görənə qədər onu indeksləməyi gözləyə bilər. Bu status siqnaldır ki, krollanmanız işləsə də, indekslənməniz məzmun yeniləmələri və ya daha yaxşı daxili keçid vasitəsilə yaxşılaşdırılmalıdır.

Bu davranışın digər bir səbəbi ‘yumşaq 404’ xətalarının olmasıdır. Bu, səhifə istifadəçiyə mövcud olmadığını bildirdikdə, lakin server ‘200 OK’ status kodu göndərdikdə baş verir. Googlebot səhifəni kroll edir, onun effektiv şəkildə boş və ya xəta səhifəsi olduğunu görür və onu indeksləməkdən imtina edir. Bunu düzəltmək üçün serverinizin çatışmayan məzmun üçün düzgün 404 və ya 410 status kodlarını göndərdiyinə əmin olmalısınız. Düzgün status kodu idarəetməsi krollanma və indekslənmə arasında bir körpüdür ki, bu da axtarış sisteminin çıxılmaz yollara vaxt sərf etməməsini təmin edir. Bu siqnalları təmizləməklə, siz botun ən dəyərli açılış səhifələrinizə fokuslanmasına imkan yaradırsınız.

Bu iki texniki aspekti audit etmək həm Google Search Console, həm də əl ilə yoxlamalardan istifadə edərək sistemli bir yanaşma tələb edir. Yaxşı bir başlanğıc nöqtəsi ‘Sayt xəritələri’ hesabatıdır. Göndərilən URL-lərin sayının indekslənmiş URL-lərin sayına uyğun olub-olmadığını yoxlayın. Əgər böyük bir boşluq varsa, çox güman ki, indekslənmə probleminiz var. Sonra, Search Console-da ‘Parametrlər’ menyusu altındakı ‘Kroll Statistikası’na baxın. 404 xətalarında və ya yüksək cavab müddətlərində hər hansı artım olub-olmadığını yoxlayın. Sağlam bir sayt, cavabların əksəriyyətinin 200 (OK) olduğu ardıcıl bir kroll nümunəsi göstərməlidir. Əgər çoxlu 301 yönləndirmələrinin kroll edildiyini görürsünüzsə, kroll büdcəsinə qənaət etmək üçün daxili keçidlərinizi birbaşa son təyinat yerinə yönəltmək üçün yeniləməyi düşünün.

• Vacib qovluqlarda təsadüfi ‘Disallow’ əmrləri üçün robots.txt faylını yoxlayın.
• Müəyyən bir səhifənin indekslənməsinə icazə verilib-verilmədiyini görmək üçün URL İnspeksiya Alətindən istifadə edin.
• ‘noindex’ etiketlərini tapmaq üçün İndeks Əhatəsi hesabatındakı ‘İstisna edilmiş’ bölməsini izləyin.
• XML sayt xəritənizin yalnız 200 status kodu qaytaran URL-ləri ehtiva etdiyinə əmin olun.
• Mobil versiyanızın və masaüstü versiyanızın eyni məzmunu göstərdiyini təsdiqləyin.
• Heç bir daxil olan keçidi olmayan ‘yetim səhifələrin’ mövcud olmadığından əmin olmaq üçün daxili keçidlərinizi audit edin.

Sayt sürəti birbaşa krollanma ilə bağlıdır, çünki axtarış sistemlərinin hər hansı bir veb saytda sərf etmək üçün məhdud vaxtı var. Sayt yavaş yükləndikdə, bot növbəsindəki növbəti sayta keçməzdən əvvəl yalnız bir neçə səhifəni emal edə bilir. Bu o deməkdir ki, yavaş bir saytda yeni məzmununuzun kəşf edilməsi həftələr çəkə bilər. Google Core Web Vitals, məsələn, 2.5 saniyədən az olan Ən Böyük Məzmunlu Boya (LCP), yalnız istifadəçi təcrübəsi üçün deyil; onlar həm də sağlam texniki mühit üçün markerlərdir. Sürətli saytlar Googlebot-a eyni vaxt ərzində daha çox səhifəni kroll etməyə imkan verir ki, bu da ümumi kroll tələbatını və tezliyini artırmanın əsas yoludur.

Bundan əlavə, sürətli server cavabı (İlk Bayta qədər vaxt və ya TTFB) Google-a infrastrukturunuzun etibarlı olduğuna dair bir siqnaldır. Əgər serveriniz tez-tez vaxt aşımına uğrayırsa və ya krollerin yükü altında çətinlik çəkirsə, Google saytınızın çökməsinin qarşısını almaq üçün kroll sürətini qəsdən azaldacaq. Əgər xəbərlər və ya vaxta həssas mövzular üçün reytinq qazanmağa çalışırsınızsa, bu qoruyucu tədbir SEO-nuz üçün zərərli ola bilər. Hostinq mühitinizi optimallaşdırmaq, Məzmun Çatdırılma Şəbəkəsindən (CDN) istifadə etmək və resurslarınızı keşləmək krollanmanın performans darboğazları tərəfindən heç vaxt əngəllənməməsini təmin etmək üçün praktik yollardır.