X-Robots-Tag Googlebot-a hansı səhifələrin tarana cəlb ediləcəyini və ya indeksdən çıxarılacağını bildirən, saytınızın crawl büdcəsinə birbaşa təsir edən HTTP cavab başlığıdır. Bu başlığı serverinizdə tətbiq etməklə axtarış sistemlərinin aşağı dəyərli səhifələrə vaxt sərf etməsinin qarşısını alırsınız, resursların əsas məzmununuza yönəldilməsini təmin edirsiniz. Bu üsul PDF-lər və ya şəkillər kimi ənənəvi meta teqləri HTML baş hissəsinə daxil edə bilmədiyiniz qeyri-HTML faylları üçün xüsusilə faydalıdır.
Böyük saytlar üçün crawl büdcəsinin idarə edilməsi niyə vacibdir?
Crawl büdcəsi Googlebot-un müəyyən bir müddət ərzində saytınızda müəyyən etdiyi və taradığı səhifələrin sayını ifadə edir. Daha böyük veb-saytlar, xüsusən də minlərlə dinamik URL-ləri olanlar üçün bu büdcəni idarə etmək vacib yeniləmələrin indeksə daha sürətli çatmasını təmin etməyin praktiki yoludur. Saytınız aşağı keyfiyyətli və ya təkrar səhifələrlə həddindən artıq yüklənibsə, Google yeni məzmununuz əvəzinə onlara baxmağa xeyli vaxt sərf edə bilər.
50.000 məhsul variantı olan adi e-ticarət platformasını nəzərdən keçirin. Googlebot gündəlik tarama limitinin 80%-ni filtr kombinasiyalarına və ya seans əsaslı URL-lərə sərf edərsə, əsas məhsul səhifələrinizdə yeniləmələr gecikə bilər. Bu vacib olmayan varyasyonlara girişi məhdudlaşdırmaqla, siz tarayıcının əslində gəlir və üzvi trafik gətirən səhifələrə diqqət yetirməsinə kömək edirsiniz. Bu səmərəlilik daha təmiz indeks profili və məzmun dəyişikliklərinə daha sürətli reaksiya yaradır.
Bu resursları idarə etmək təkcə sürətdən ibarət deyil; bu, keyfiyyətə nəzarətdir. Taranın əhatə dairəsini məhdudlaşdırdığınız zaman, minlərlə demək olar ki, dublikat səhifə axtarış görünürlüğünüzü qarışdırdıqda baş verən indeks şişməsinin qarşısını alırsınız. Google-un emal etməli olduğu lazımsız səhifələrin sayını azaltmaqla saytınızın ən mühüm məlumatlarının axtarış alqoritmləri üçün əsas siqnal olaraq qalmasını təmin edirsiniz.
X-Robots-Tag praktika necə işləyir?
HTML-ə yerləşdirilən standart meta teqlərdən fərqli olaraq, X-Robots-Tag veb serveriniz tərəfindən HTTP cavab başlığı vasitəsilə göndərilir. Bu, hələ də SEO direktivləri tələb edən PDF-lər, şəkillər və ya köhnəlmiş sənəd formatları kimi qeyri-HTML fayllarına yüksək nəzarət imkanı verir. Siz onu kəşfiyyat prosesi zamanı xüsusi fayl növləri ilə necə davranmaq barədə tarayıcıya məlumat verən bir neçə direktivi ehtiva etmək üçün konfiqurasiya edə bilərsiniz.
- noindex: Google-a səhifəni və ya faylı axtarış nəticələrinə daxil etməməyi bildirir.
- nofollow: Google-a səhifədəki heç bir keçidi izləməməyi tapşırır.
- none: Həm noindex, həm də nonofollow birləşməsi.
- noarchive: Google-un axtarış nəticələrində səhifənin keşlənmiş versiyasını göstərməsinin qarşısını alır.
İndeksləşmənin qarşısını almaq lazımlı olduqda başlıqlardan istifadə etmək adətən robots.txt-dən daha etibarlıdır. robots.txt Google-a səhifəyə baş çəkməməyi söylərsə də, xarici keçidlər vasitəsilə aşkar edilərsə, səhifənin indekslənməsinin qəti şəkildə qarşısını almır. Bununla belə, X-Robots-Tag serverə dəyən kimi tarayıcıya dəqiq təlimat verir ki, bu da onu həssas və ya dublikat məzmunun idarə edilməsi üçün güclü seçim edir.
Bu başlıqları konfiqurasiya etdiyiniz zaman server səviyyəsində hərəkət edirsiniz. Bu o deməkdir ki, təlimat brauzer və ya bot məzmun gövdəsini göstərməmişdən əvvəl çatdırılır. Saytın migrasiyası və ya müvəqqəti texniki xidmət səhifəniz varsa, başlıq əsaslı direktivin tətbiqi axtarış sisteminin əmri dərhal almasını təmin edir və yeniləmələri yerinə yetirərkən saytınızın mövqeyini qoruyur.
Qaçınılması lazım olan ümumi konfiqurasiya xətaları nələrdir?
Ümumi səhvlər tez-tez robots.txt faylı ilə X-Robots-Tag arasında ziddiyyətli direktivləri ehtiva edir. URL-i robots.txt-də bloklasanız, Google səhifədəki X-Robots-Tag-i görə bilməz, yəni bot URL-i başqa yerdə taparsa, onu yenə də indeksləşdirə bilər. Biz tarayıcı tərəfindən direktivlərin düzgün şərh olunmasını təmin etmək üçün texniki auditlərimiz zamanı bu münaqişələri yoxlayırıq.
Digər səhv server konfiqurasiya faylında səhv sintaksisdir. İstər Nginx, istərsə də Apache istifadə etməyinizdən asılı olmayaraq, əskik vergül və ya səhv formalı başlıq sətri direktivin tamamilə nəzərdən qaçırılmasına səbəb ola bilər. Onu da xatırlamaq lazımdır ki, bu başlıqlar həmin fayl növü üçün hər bir sorğuya şamil edilir. Bütün PDF fayllarına “noindex” qaydası tətbiq edirsinizsə, axtarış nəticələrində göstərmək istədiyiniz yüklənə bilən hesabatları təsadüfən daxil etmədiyinizə əmin olmalısınız.
Nəhayət, məntiqi həddən artıq mürəkkəbləşdirməkdən çəkinin. İstifadəçi agentlərinə və ya IP ünvanlarına əsaslanan həddindən artıq şərti başlıqlarınız varsa, Googlebot-un insan ziyarətçilərinizdən fərqli təlimatlar alacağı ssenari yaratmaq riski ilə üzləşirsiniz. Server tərəfi məntiqinizi təmiz, proqnozlaşdırıla bilən və sənədləşdirilmiş şəkildə saxlayın ki, texniki komandanız qarışıqlıq olmadan problemləri həll edə bilsin.
Hər bir idarəetmə teqinin dəqiq funksiyasını başa düşmək texniki quraşdırmanızın biznes məqsədlərinizə uyğun olmasını təmin edir.
Google Search Central
Alien Road müştərilər üçün X-Robots-Tag-i necə tətbiq edir
Alien Road-da biz axtarış istifadəçisinə dəyər verməyən səhifələri müəyyən etməklə müştərilərimiz üçün crawl büdcəsini idarə edirik. Googlebot-un ən çox vaxt sərf etdiyi yeri görmək üçün server qeydlərini nəzərdən keçiririk. Əgər tarayıcının daxili axtarış nəticəsi səhifələrində, giriş portalında və ya məzmunun printerə uyğun versiyalarında dayandığını aşkar etsək, girişə məhdudlaşdırmaq və bu enerjini yüksək prioritetli açılış səhifələrinə yönəltmək üçün X-Robots-Tag başlığını tətbiq edirik.
- Yüksək həcmli, aşağı dəyərli kataloqları tapmaq üçün sayt strukturunu yoxlayın.
- Nginx və ya Apache parametrlərindən istifadə edərək server tərəfi başlıqlarını konfiqurasiya edin.
- Search Console-da URL İnspeksiyası alətindən istifadə edərək tətbiqi yoxlayın.
- Botun indekslənə bilən məzmuna üstünlük verməsini təmin etmək üçün tarama tezliyini izləyin.
Tipik əməkdaşlıq üçün biz gəlir gətirən səhifələrlə müqayisədə vacib olmayan səhifələrdə “200 OK” cavablarının nisbətini müəyyən etmək üçün server qeydlərini təhlil etməklə başlayırıq. Sonra biz xüsusi kataloqlar və ya fayl uzantıları üçün X-Robots-Tag tətbiq edirik. Botun bu təkrar yollara məruz qalmasını məhdudlaşdırmaqla, mövcud crawl büdcəsindən daha səmərəli istifadəni müşahidə edirik ki, bu da yeni məzmunun axtarış nəticələrində xeyli sürətlə görünməsinə imkan verir.
Tətbiqinizi necə yoxlamaq olar
Başlıqlarınızın düzgün qurulduğunu yoxlamaq üçün brauzerinizin tərtibatçı alətlərində canlı HTTP cavab baxıcısından istifadə edin. Şəbəkə sekmesinde ‘x-robots-tag’ sahəsini axtarın. Etiket mövcuddursa və ‘noindex’ olaraq konfiqurasiya edilibsə, Googlebot növbəti səfərində ona hörmət edəcək. Bu proses yüzləçə HTML faylını əl ilə dəyişdirməyə ehtiyac olmadan axtarış indeksinizi təmizləməyin etibarlı yoludur.
Siz həmçinin Google Search Console-da URL Təftiş Alətindən istifadə edə bilərsiniz. Xüsusi URL daxil etməklə Google-un başlığı aşkar edə bilib-bilmədiyini görə bilərsiniz. Əgər alət səhifənin HTTP başlığı vasitəsilə göndərilən “noindex” direktivi səbəbindən istisna edildiyini göstərirsə, konfiqurasiyanızın lazım olduğu kimi işlədiyini bilirsiniz. Bu yoxlama addımı bütün domen üzrə dəyişikliklərdən əvvəl çox vacibdir.
Bu həftə haradan başlamaq lazımdır
Saytınızda vacib olmayan faylları və ya dinamik parametrləri ehtiva edən ilk on kataloqu sadalamaqla başlayın. Mövcud nəzarətlərin harada köhnəlmiş ola biləcəyini müəyyən etmək üçün mövcud X-Robots-Tag qaydaları üçün cari server konfiqurasiyanızı yoxlayın. İndekslənməməli olan səhifələri müəyyən etsəniz, teqi tətbiq edin və irəliləyişi görmək üçün axtarış konsolu idarə paneliniz vasitəsilə yenidən tarama tələb edin. Bu texniki parametrlərin ardıcıl monitorinqi ümumi SEO strategiyanız üçün sabit təməl təmin edir.
Bu ilk on sahəni həll etdikdən sonra şəkil və PDF aktivlərinizi nəzərdən keçirməyə keçin. Çox vaxt bu fayllar dəyər əlavə etmədən indeksdə yığılır. Xüsusi fayl kataloqları üçün standart “noindex” və ya “noarchive” başlığı təyin etməklə saytınızı müvafiq, yüksək nəticəli məzmuna diqqət yetirməklə saxlayırsınız. Tarama qeydiniz biznes məqsədləriniz üçün ən vacib səhifələrə aydın diqqət yetirənə qədər bu prosesi təkrarlayaraq davam etdirin.