Serverinizdən ‘noindex’ direktivi ilə X-Robots-Tag HTTP başlığı göndərərək PDF və digər qeyri-HTML fayllarını Google Axtarışından silə bilərsiniz. Bu üsul effektivdir, çünki o, Google botuna faylı serverinizdən silmədən və ya PDF kimi ikili formatlar üçün çox vaxt qeyri-mümkün olan HTML kodu ilə dəyişdirmədən indeksdən çıxarmağı tapşırır.
Niyə meta teqlər əvəzinə X-Robots-Tag istifadə etməlisiniz?
Meta teqlər veb səhifənin HTML baş hissəsinə yerləşdirilir. PDF faylları, şəkillər və digər qeyri-HTML sənədlərinin HTML strukturu olmadığı üçün onlar robots meta teqini ehtiva edə bilməzlər. X-Robots-Tag səhifə məzmunundan müstəqil işləyən HTTP cavab başlığıdır və bu, veb səhifə olmayan aktivlər üçün standart həlldir.
Axtarış botu URL-ə daxil olduqda, tam fayl məzmununu yükləməzdən əvvəl server tərəfindən qaytarılan HTTP başlıqlarını oxuyur. Bu başlıqdan istifadə etməklə, bot böyük bir PDF faylına bant genişliyi sərf etməzdən əvvəl indeksləmə niyyətinizi bildirirsiniz. Bu, minlərlə köhnə sənədi olan saytlar üçün xüsusilə faydalıdır, çünki bu, yalnız müvafiq HTML səhifələrinin axtarış nəticələrində görünməsini təmin edərkən tarama büdcənizi qoruyur.
Bundan əlavə, bu üsul robots.txt-ə güvənməkdən daha təmiz bir yanaşma təmin edir. Fayl robots.txt-də bloklandıqda, bot ona daxil ola bilmir, yəni ‘index’ və ya ‘noindex’ təlimatını görə bilmir. Nəticədə, əgər bir səhifə həmin PDF-ə keçid verirsə, PDF axtarış indeksində təsvirin mövcud olmadığını göstərən ümumi qeydlə görünməyə davam edə bilər. X-Robots-Tag istifadəsi Google-a ‘noindex’ təlimatını görməyə və faylı indeksdən tamamilə düzgün şəkildə çıxarmağa imkan verir.
Məsələn, yüzlərlə ağ sənəd (whitepaper) və məhsul spesifikasiyası vərəqlərini yerləşdirən korporativ veb saytını nəzərdən keçirin. Əgər həmin fayllar qorunmazsa, axtarış sistemləri basdırılmış PDF-i yeni yenilənmiş məhsul açılış səhifəsindən üstün tuta bilər. Server səviyyəsində direktivlərin tətbiqi orqanik trafikin bu cür parçalanmasının qarşısını alır.
X-Robots-Tag texniki səviyyədə necə işləyir?
Bot fayl tələb etdikdə, veb serveriniz HTTP cavabı göndərir. Serverinizi (məsələn, Apache və ya Nginx) X-Robots-Tag: noindex başlığını daxil edəcək şəkildə konfiqurasiya etməklə, siz axtarış sisteminə faylı nəticələrdə göstərməməyi açıq şəkildə bildirirsiniz. Bu proses həmin URL-in növbəti uğurlu taramasından dərhal sonra baş verir.
Başlıq xüsusi fayl genişləndirmələri, qovluqlar və ya hətta xüsusi istifadəçi agentləri üçün konfiqurasiya edilə bilər. Məsələn, faylı insanlar üçün əlçatan saxlamaq, lakin Google-dan gizlətmək istəyirsinizsə, server konfiqurasiyanızda hədəf axtarış sistemini göstərə bilərsiniz. Bu qranulyarlıq, robots.txt istisnalarının daha kobud yanaşması ilə müqayisədə saytınızın müxtəlif hissələrinin necə indeksləndiyinə dair əhəmiyyətli nəzarət təmin edir.
Əsas şəbəkə əl sıxma prosesini (handshake) başa düşmək vacibdir. Veb server daxil olan sorğuları faylı çatdırmazdan əvvəl konfiqurasiya edilmiş qaydalara qarşı qiymətləndirir. Əgər qayda uyğun gələrsə, başlıq cavab paketinə əlavə edilir və axtarış botu bunu TLS əl sıxma və başlıq yoxlama mərhələsində dərhal oxuyur.
Ümumi konfiqurasiya çətinlikləri hansılardır?
Bir çox tərtibatçı məzmun çatdırılma şəbəkələri (CDN) və ya yerli keşləmə qatları xüsusi HTTP cavab başlıqlarını sildikdə problemlərlə üzləşir. Əgər kənar serveriniz PDF cavabını başlıqsız keşləyirsə, həmin keşlənmiş nüsxəyə çatan axtarış botları təlimatı tamamilə qaçıracaqlar. Keş siyasətlərinin xüsusi başlıqlara hörmət etməsini təmin etmək əsas addımdır.
Digər tez-tez rast gəlinən problem ziddiyyətli direktivlərlə bağlıdır. Əgər səhifə və ya fayl eyni vaxtda robots.txt-də bloklanıbsa və noindex başlığı ilə xidmət göstərməyə çalışırsa, ziddiyyət düzgün emalın qarşısını alır. Komandalar botun URL-i əldə etmək və cavab başlıqlarını oxumaq üçün tam girişə malik olduğundan əmin olmalıdırlar.
Serverinizdə X-Robots-Tag tətbiq etmək üçün addımlar
- İstisna etmək istədiyiniz fayl yollarını və ya genişləndirmələrini, məsələn, .pdf, .docx və ya .pptx kimi müəyyən edin.
- Server konfiqurasiya faylınıza (məsələn, Apache üçün .htaccess və ya Nginx üçün sayt blokunuz) daxil olun.
- Xüsusi fayl növlərinə uyğunlaşmaq və noindex başlığını tətbiq etmək üçün direktivi əlavə edin.
- Dəyişiklikləri tətbiq etmək üçün veb serverinizi yenidən başladın və ya konfiqurasiyanı yenidən yükləyin.
- Başlığın qaytarıldığını yoxlamaq üçün Google Search Console-da URL yoxlama alətindən istifadə edin.
Alien Road bu prosesi necə tətbiq edir
Tipik bir müştəri əlaqəsində biz axtarış indeksini yoxlayaraq şişmiş və ya köhnəlmiş PDF sənədlərini tapmaqla başlayırıq. Sonra bu faylları server mühitinə uyğunlaşdırırıq. Məsələn, müştəri böyük texniki təlimatlar deposuna sahibdirsə, biz serveri yalnız həmin xüsusi qovluqlar üçün X-Robots-Tag daxil edəcək şəkildə konfiqurasiya edirik. Bu, əsas sayt məzmununun təsirlənməsinin qarşısını alır və daxili sənədlərin ictimai axtarış sorğularından gizli qalmasını təmin edir.
Biz sistemli yoxlama dövrünə diqqət yetiririk. Başlıqları tətbiq etdikdən sonra, serverin həqiqətən düzgün status kodu və X-Robots-Tag başlığı ilə cavab verdiyini təsdiqləmək üçün daxili monitorinq alətlərindən istifadə edirik. Daha sonra təsirə məruz qalan URL-lərin bir nümunəsini Google Search Console URL yoxlama alətinə təqdim edirik. Əgər alət ‘noindex’ statusunu təsdiqləyərsə, biz bu sənədlərin SERP-dən silinməsini izləmək üçün növbəti bir neçə həftə ərzində indeksi monitorinq edirik.
Mühəndislik iş axınımıza həmçinin staging mühitlərinə qarşı işləyən avtomatlaşdırılmış test skriptləri daxildir. Bu skriptlər HTTP cavab başlıqlarının düzgün formatlandığını və dəyişiklikləri istehsala (production) göndərməzdən əvvəl bütün kənar qovşaqlarda ardıcıl olaraq çatdırıldığını yoxlamaq üçün bot sorğularını simulyasiya edir.
Qaçınılması lazım olan ümumi tələlər hansılardır?
- Faylı robots.txt-də bloklamaq: Əgər faylı robots.txt-də bloklasanız, Google noindex təlimatınızı görə bilməz və fayl indeksdə qala bilər.
- Ziddiyyətli başlıqlar: Heç bir digər plagin və ya ara proqramın X-Robots-Tag parametrlərinizi ləğv etmədiyinə əmin olun.
- Dərhal silinəcəyini güman etmək: Google yeni başlığı görmək üçün URL-i yenidən taramalıdır; bu ani deyil.
- Başlıqsız yönləndirmə: PDF-i sadəcə 404 səhifəsinə yönləndirmək çox vaxt noindex təlimatı ilə 404/410 statusu verməkdən daha az təmizdir.
Axtarış sistemləri şəkillər və sənədlər daxil olmaqla ictimai məzmunu avtomatlaşdırılmış botlardan istifadə edərək indeksləşdirir.
Google Search Central
Bu həftə haradan başlamaq lazımdır
Server qeydlərinizi yoxlayaraq və ya hazırda Google tərəfindən indekslənmiş bütün PDF fayllarını siyahıya almaq üçün sayt tarayıcısından istifadə edərək başlayın. Köhnəlmiş məlumatları və ya həssas daxili məlumatları ehtiva edən beş sənəd seçin. HTTP cavabının düzgün olduğunu təsdiqləmək üçün əvvəlcə staging serverinizdə X-Robots-Tag: noindex başlığını tətbiq edin. Təsdiqləndikdən sonra konfiqurasiyanı istehsal mühitinizə keçirin və Google Search Console vasitəsilə yenidən tarama tələb edin.
Həmçinin server mühitinizin köhnə cavabı keşləmədiyinə əmin olun. Bəzən CDN və ya yerli server keşi konfiqurasiyanızı yenilədikdən sonra belə köhnə başlıqları saxlaya bilər. Bu keşləri təmizləmək Google-un növbəti gəlişində yenilənmiş təlimatı dərhal almasını təmin etmək üçün zəruri son addımdır.