Googlebot-un ‘noindex’ teqlərini iqnor etməsinin əsas səbəbi texniki maneələrin skanerin səhifənizdəki direktivə daxil olmasının və onu oxumasının qarşısını almasıdır. Ən geniş yayılmış səbəb Googlebot-un URL-i skan etməsini əngəlləyən ‘robots.txt’ faylınızla ziddiyyətdir. Skaner səhifəni əldə edə bilmirsə, o, heç vaxt ‘noindex’ teqini görmür və yenə də əks-keçidlər və ya sayt xəritəsi girişləri kimi xarici siqnallar əsasında URL-i indeksləşdirə bilər.
Googlebot nə üçün hələ də ‘noindex’ teqi olan səhifələri indeksləşdirir?
Səhifəyə ‘noindex’ direktivi əlavə etdiyiniz zaman indeksləşdirmə mərhələsində Googlebot-a təlimat verirsiniz. Bununla belə, bu təlimatın yerinə yetirilməsi üçün Googlebot əvvəlcə skanmə mərhələsini tamamlamalıdır. Skanmək və indeksləşdirmək Google Axtarış prosesində iki fərqli addımdır. Skanmə mərhələsi kəsildikdə və ya məhdudlaşdırıldıqda, HTML daxilindəki indeksləşdirmə təlimatları axtarış sisteminə görünməz olaraq qalır.
Bir çox SEO mütəxəssisi ‘noindex’ teqinin universal qalxan olduğunu güman edir. Reallıqda bu, görünürlük tələb edən sorğudur. Əgər serveriniz Googlebot-u qapıda saxlayan status kodu və ya konfiqurasiya qaytarırsa, bot heç vaxt ‘noindex’ teqinizin yerləşdiyi ‘qonaq otağına’ çatmayacaq. Bu, çox vaxt səhifənin axtarış nəticələrində ‘Bu səhifə üçün heç bir məlumat mövcud deyil’ yazısı olan fraqmentlə və ya sadəcə boş URL ilə görünməsi ilə nəticələnir.
‘robots.txt’ və ‘noindex’ direktivi arasındakı ziddiyyət
Ən tez-tez rast gəlinən xəta tərtibatçı ‘robots.txt’ faylında kataloqu blokladıqda və eyni zamanda həmin kataloqdakı səhifələrə ‘noindex’ teqi əlavə etdikdə baş verir. Bu, məntiqi paradoks yaradır. ‘robots.txt’ faylı Googlebot-a deyir: ‘Bu URL-i skan etmə.’ Googlebot buna tabe olduğu üçün heç vaxt HTML-i əldə etmir. O, heç vaxt HTML-i əldə etmədiyindən, teqini heç vaxt görmür.
Bunu düzəltmək üçün indeksdən çıxarmaq istədiyiniz xüsusi URL-lər üçün ‘robots.txt’ faylınızda skanməyə icüzə verməlisiniz. Googlebot-a səhifəni skan etməyə icüzə verildikdən sonra o, ‘noindex’ teqini görəcək və dərhal URL-i axtarış nəticələrindən siləcək. Səhifənin Google Search Console vasitəsilə indeksdən çıxarıldığını yoxladıqdan sonra skan büdcəsinə qənaət etmək üçün onu yenidən ‘robots.txt’ faylında bloklamağı seçə bilərsiniz.
- URL-in ‘robots.txt’ faylınızdakı ‘Disallow’ qaydası ilə bloklanıb-bloklanmadığını yoxlayın.
- ‘noindex’ teqinin deyil, bölməsində yerləşdirildiyinə əmin olun.
- HTTP başlığındakı X-Robots-Tag-in CDN və ya keş qatı tərəfindən silinmədiyini yoxlayın.
- Googlebot-un tam olaraq nə gördüyünü görmək üçün Google Search Console-dakı URL İnspeksiya Alətindən istifadə edin.
Googlebot JavaScript əsaslı ‘noindex’ teqlərini necə idarə edir?
Müasir veb tətbiqləri tez-tez meta teqləri dinamik şəkildə daxil etmək üçün React və ya Angular kimi çərçivələrdən istifadə edir. Googlebot JavaScript-i işlədə bilsə də, bu proses dərhal baş vermir. Googlebot əvvəlcə HTML-in ‘xam’ skanını həyata keçirir. ‘noindex’ teqi ilkin HTML mənbəyində yoxdursa və yalnız JavaScript icra edildikdən sonra əlavə olunarsa, gecikmə baş verir.
Bu gecikmə zamanı Googlebot səhifənin ilkin versiyasını indeksləşdirə bilər. Rendersiya daha çox resurs tələb edən əlavə prosesdir. Serveriniz yavaşdırsa və ya JavaScript mürəkkəbdirsə, rendersiya uğursuz ola bilər və ya vaxtı bitə bilər. Belə hallarda ‘noindex’ teqi heç vaxt aşkar edilmir. Gizli qalmalı olan vacib səhifələr üçün ‘noindex’ teqini statik HTML cavabında və ya HTTP başlığı vasitəsilə təqdim etmək həmişə daha təhlükəsizdir.
Əksər saytlar üçün Google Axtarış əsasən məzmunun mobil versiyasını indeksləşdirir.
Google Search Central
Fayl ölçüsü məhdudiyyətlərinin direktiv aşkarlanmasına təsiri
Googlebot-un hər fayl üçün nə qədər məlumat emal etməsi ilə bağlı xüsusi məhdudiyyətləri var. Böyük HTML faylları buraxılmış direktivlərə səbəb ola bilər. Səhifəniz ağır daxili CSS, böyük Base64 şəkilləri və ya sənədin yuxarı hissəsindəki həddindən artıq izləmə skriptləri ilə doldurulubsa, ‘noindex’ teqi çox aşağıya itələnə bilər.
Google Axtarış üçün skan edərkən Googlebot dəstəklənən fayl növünün ilk 2MB-nı skan edir.
Google Search Central
Əgər ‘noindex’ teqiniz ilk 2MB məzmundan sonra görünürsə, Googlebot təlimata çatmamış oxumağı dayandıracaq. Bu, standart səhifələr üçün nadir, lakin kütləvi məlumat cədvəlləri və ya avtomatik yaradılan sənəd səhifələri üçün ümumi haldır. Bu texniki məhdudiyyətlər səbəbindən kəsilmənin qarşısını almaq üçün həmişə meta teqlərinizin bölməsinin ən yuxarı hissəsinə yaxın olduğundan əmin olun.
Alien Road Googlebot skan idarəetməsini necə tətbiq edir
Alien Road olaraq biz skan idarəetməsini xüsusi CMS istifadə edən böyük elektron ticarət saytı kimi hər bir müştəri layihəsi üçün təməl addım hesab edirik. Səhifələrin nə üçün indeksləşdirildiyini təxmin etmirik; biz bu ziddiyyətləri müəyyən etmək və həll etmək üçün strukturlaşdırılmış prosesdən istifadə edirik. Komandamız axtarış sisteminin görünürlüğünün müştərinin biznes məqsədlərinə uyğun olmasını təmin etmək üçün xüsusi iş axını izləyir.
Əvvəlcə Googlebot Smartphone və Googlebot Desktop-un saytla necə əlaqə saxladığını görmək üçün loq fayl təhlili həyata keçiririk. Skan xətalarını göstərən status kodlarını axtarırıq. Məsələn, Shopify mağazası üçün tipik işdə biz ‘noindex’ cəhdlərinə baxmayaraq minlərlə ‘filtr’ səhifəsinin indeksləşdirildiyini aşkar edə bilərik. Daha sonra Google-un ‘noindex’ təlimatını görməsinə mane ola biləcək bu filtrlərin bloklanıb-bloklanmadığını görmək üçün ‘robots.txt’ faylını yoxlayırıq.
- Kəşf: ‘site:’ operatorları və Search Console hesabatlarından istifadə edərək gizlədilməli olan indeksləşdirilmiş səhifələri müəyyən edirik.
- Audit: Biz ‘robots.txt’ qaydalarını həmin xüsusi URL-lərdə ‘noindex’ teqlərinin mövcudluğu ilə müqayisə edirik.
- Düzəliş: Googlebot ‘noindex’ teqini emal edə bilsin deyə ‘robots.txt’ faylında URL-lərə müvəqqəti olaraq ‘İcazə veririk’ (‘Allow’).
- Yoxlama: URL-lərin ‘Xaric edilib’ (‘Excluded’) statusuna keçməsini təsdiqləmək üçün ‘İndeks Əhatəsi’ hesabatına nəzarət edirik.
- Təmizləmə: Silinməyi tələb edən PDF kimi HTML olmayan fayllar üçün X-Robots-Tag başlıqlarını tətbiq edirik.
Bu sistemli yanaşma dəyəri aşağı olan səhifələrə skan büdcəsini sərf etməməyimizi təmin edir. Googlebot-un ‘noindex’ siqnalını aydın şəkildə görə bilməsini təmin etməklə biz axtarış sisteminə enerjisini müştərilərimiz üçün həqiqətən konversiya gətirən səhifələrə yönəltməyə kömək edirik. Canlı serverə keçməzdən əvvəl hər bir dəyişikliyi hazırlıq mühitində sınaqdan keçirməklə ümumi səhvlərdən qaçırıq.
Googlebot nə üçün x-robots-tag başlıqlarını iqnor edir?
X-Robots-Tag server tərəfindən göndərilən HTTP başlığıdır. Bu, xüsusilə HTML olmayan fayllar üçün meta teqlərə alternativdir. Lakin server konfiqurasiyanız səhv olarsa, o, uğursuz ola bilər. Məsələn, yük balanslaşdırıcısından və ya keşləmə plaginindən istifadə edirsinizsə, başlığın Googlebot-a çatmamış silinməsi mümkündür. Bundan əlavə, səhifə 404 və ya 500 xətası qaytararsa, 404 təbii olaraq zamanla indeksdən çıxarılmasına səbəb olsa da, Googlebot başlıqları tamamilə iqnor edə bilər.
Digər problem sayt xəritəsində ‘noindex’ direktivindən istifadə olunmasıdır. Xüsusi atributu olan sayt xəritəsinə URL yerləşdirməyin onu axtarışdan çıxaracağı geniş yayılmış mifdir. Google XML sayt xəritələrindəki ‘noindex’ direktivlərini iqnor edir. Sayt xəritələri istisna üçün deyil, kəşf üçündür. Səhifənin yoxa çıxmasını istəyirsinizsə, təlimat səhifənin özündə və ya HTTP başlığında olmalıdır.
‘noindex’ tətbiqinizi yoxlamaq üçün praktiki addımlar
Konfiqurasiyanızın düzgün olduğundan əmin olmaq üçün müxtəlif alətlərdən istifadə etməlisiniz. İlk addım Google Search Console URL İnspeksiya alətidir. Bu alət səhifənin ‘Canlı Test’ versiyasını görməyə imkan verir. Canlı test səhifənin indeksləşdirmə üçün əlçatan olduğunu göstərirsə, bu, Googlebot-un ‘noindex’ teqinizi görə bilmədiyi deməkdir. Xam HTML-i və HTTP başlıqlarını görmək üçün alətdəki ‘Cavab’ (‘Response’) tabına baxın.
Siz həmçinin ziddiyyətli teqləri yoxlamalısınız. Əgər bir teq ‘index’ və başqası ‘noindex’ deyirsə, Googlebot adətən daha məhdudlaşdırıcı olanı seçəcək, lakin bu, etibarlı strategiya deyil. Yalnız bir aydın direktiv mövcud olduğundan əmin olmaq üçün kodunuzu təmizləyin. SEO üçün plagin istifadə edirsinizsə, onun əl ilə etdiyiniz tənzimləmələrlə ziddiyyət təşkil edən defolt ‘index’ teqi əlavə etmədiyini yoxlayın.
Bu həftə haradan başlamalı
Google Search Console-u açmaqla və ‘İndeksləmə’ bölməsinə keçməklə başlayın. ”Noindex’ teqi tərəfindən xaric edilib’ hesabatını axtarın və onu ”Robots.txt’ ilə bloklanmasına baxmayaraq indeksləşdirilib’ xəbərdarlığı ilə müqayisə edin. Əgər sonuncu kateqoriyada silinməsini istədiyiniz səhifələr görürsünüzsə, həmin xüsusi yollar üçün skan etməyə icazə vermək məqsədilə ‘robots.txt’ faylınızı yeniləyin. Bu sadə dəyişiklik Googlebot-a ‘noindex’ teqlərinizi görməyə və bir neçə skan dövrü ərzində axtarış nəticələrini müvafiq olaraq yeniləməyə imkan verir.