Mobil Tarana Bilikliyi: Baiduspider üçün robots.txt Faylının Tənzimlənməsi

Baiduspider üçün robots.txt tənzimləməsi Baidunun avtomatlaşdırılmış axtarış tarayıcılarını – o cümlədən masaüstü Baiduspider və Baiduspider-Mobile – əlçatan sayt yollarına istiqamətləndirir, eyni zamanda şəxsi qovluqları və istənməyən URL parametrlərini bloklayır. Faylın düzgün quraşdırılması Baidunun gözlənilməz giriş blokları ilə qarşılaşmadan və ya qiymətli server tarama büdcəsini israf etmədən mobil veb səhifələrinizi səmərəli şəkildə kəşf etməsini, render etməsini və indeksləşdirməsini təmin edir.

Baiduspider mobil tarama üçün robots.txt faylını necə emal edir?

Baidu masaüstü və mobil axtarış indeksləşdirmə əməliyyatları üçün fərqli user-agent identifikatorlarından istifadə edir. Əsas mobil axtarış tarayıcısı Baiduspider-Mobile kimi tanınır, standart masaüstü mühərriki isə Baiduspider istifadə edir. Axtarış botu hər dəfə veb hosta baş çəkdikdə, hər hansı sənəd və ya şablon resursunu əldə etməzdən əvvəl /robots.txt ünvanındakı əsas robots.txt faylını yoxlayır. Əgər hostunuz standart 404 HTTP status kodu qaytarırsa, Baidu heç bir giriş məhdudiyyətinin olmadığını ehtimal edir və serverinizdəki bütün əlçatan yolları taranmağa davam edir.

Lakin, əgər veb server robots.txt sorğusu zamanı 5xx HTTP server xətası qaytararsa, Baiduspider serverin həddindən artıq yüklənməsinin qarşısını almaq üçün bütün host üzrə taramanı müvəqqəti olaraq dayandırır. Bu təhlükəsizlik fasiləsi indeks yeniləmələrini bir neçə gün müddətində bloklaya bilər. Buna görə də təlimat faylınız üçün etibarlı, sürətli 200 statusunu qorumaq ardıcıl mobil indeksləşdirmə üçün vacibdir.

Baidu mobil istifadəyə yararlılığı avtomatlaşdırılmış render mühərrikləri vasitəsilə qiymətləndirdiyindən, Disallow əmrləri vasitəsilə CSS, JavaScript və ya media resurslarının bloklanması tarayıcının əsl səhifə tərtibatını qiymətləndirməsinə mane olur. Baiduspider-Mobile stil cədvəllərini yükləyə bilmədikdə, formatlanmamış mətn sənədi görür. Bu vəziyyət tez-tez yanlış şrift ölçüsü və ya çatmıyan ilk ekran məzmunu kimi eniş səhifəsi təcrübəsi yoxlamalarında avtomatlaşdırılmış uğursuzluqlara səbəb olur.

Biz tez-tez müşahidə edirik ki, saytlar tarama büdcəsinə qənaət etmək üçün robots.txt-də JavaScript qovluqlarını təsadüfən bloklayır, lakin nəticədə Baiduspider-Mobile-ın render xətaları səbəbindən onların səhifələrini buraxdığını görürük. Render resurslarına tam girişə icazə vermək Baidunun mobil uyğunluq standartından keçmək üçün vacibdir.

Alien Road SEO komandası

Baiduspider-Mobile üçün User-agent qaydalarını ayırmalısınızmı?

Fərdi axtarış botları üçün hədəflənmiş qaydaların yaradılması veb-ustalara server girişinə dəqiq nəzarət etmək imkanı verir. Standart tənzimləmələrdə User-agent: Baiduspider altında direktivlərin təyin edilməsi qaydaları həm masaüstü, həm də mobil axtarış tarayıcılarına eyni vaxtda tətbiq edir. Bununla belə, User-agent: Baiduspider-Mobile istifadə etməklə infrastrukturunuz mobil və masaüstü resursları müxtəlif qovluqlarda və ya alt domenlərdə ayırırsa, xüsusi təlimatlar təqdim etməyə açıq şəkildə imkan verir.

Ayrı mobil URL arxitekturaları üçün (m.example.com kimi) xüsusi mobil domen öz müstəqil faylını əsas yolda yerləşdirməlidir. Əsas masaüstü domenində mobil yolun qadağan edilməsi Baiduspider-Mobile-ın həmin yolu mobil alt domendə tələb etməsinin qarşısını almır. Hər bir domen hostu öz əsas tənzimləmə faylını müstəqil şəkildə qiymətləndirir.

• Həm masaüstü, həm də mobil tarayıcılara bərabər şəkildə tətbiq olunan geniş giriş qaydaları üçün User-agent: Baiduspider istifadə edin.
• Mobil üçün xüsusi skriptlər və ya tərtibat faylları üçün unikal tarama yolları tətbiq edərkən User-agent: Baiduspider-Mobile təyin edin.
• m.example.com kimi ayrı host adlarının əlçatan, xüsusi əsas tənzimləmə faylına malik olmasını təmin edin.
• Ümumi User-agent: * blokları və xüsusi Baiduspider direktivləri arasında ziddiyyətli Disallow qaydalarından çəkinin.

Mobil Baidu quraşdırmalarında Ən çox rast gəlinən robots.txt səhvləri hansılardır?

Mobil taramanın idarə edilməsində tez-tez edilən səhv mobil sessiya izlənməsini, filtr seçimlərini və ya dil seçimlərini idarə edən dinamik URL parametrlərini bloklamaqdır. Baiduspider-Mobile parametr əsaslı URL-də Disallow qaydası ilə qarşılaşdıqda, səhifəni əldə edə bilmir və ya HTML başlıqında mövcud olan hər hansı mobil adaptasiya meta etiketini emal edə bilmir. Bu, kompüter və mobil URL-lər arasındakı əlaqəni pozur, Baidunun onları ayrı, rəqabət aparan sənədlər kimi qəbul etməsinə səbəb olur.

Digər tez-tez rast gəlinən səhv mobil tərtibatın yoxlanılması üçün lazım olan resurs fayllarının bloklanmasını əhatə edir. Baidunun dərc edilmiş mobil meyarlarına əsasən, əsas mətn 10pt və ya daha böyük qalmalı, sətir hündürlüyü şrift ölçüsünə nisbətdə 1.4-dən yuxarı nisbəti qorumalı və əsas məzmun birinci ekranın 50%-dən çoxunu əhatə etməlidir. Əgər robots.txt faylınız xarici CSS və ya tərtibat skriptlərini bloklayırsa, Baiduspider ekran əhatə dairəsini və ya tipoqrafiya miqyasını dəqiq hesablaya bilməz.

• Birinci ekranın render edilməsi və görünüş sahəsinin miqyasının hesablanması üçün tələb olunan CSS və ya JS fayllarının bloklanması.
• Ayrı URL quraşdırmaları üzrə mobil adaptasiya hədəflərinin və ya yönləndirilmiş təyinat yollarının qadağan edilməsi.
• Təmiz 200 və ya 404 cavabı əvəzinə robots.txt son nöqtəsində 500 daxili server xətasının verilməsi.
• Sınaq mühitlərini və ya daxili axtarışı bloklamağa çalışarkən təsadüfən əsas məzmun qovluqlarının qadağan edilməsi.
• Baidu tarayıcıları tərəfindən tanınmayan dəstəklənməyən regex nümunələrindən və ya xüsusi şablon simvollarından (wildcard) istifadə edilməsi.

Baiduspider girişinə nəzarət etmək üçün əsas sintaksis direktivləri

Baidu User-agent, Allow, Disallow və Sitemap bəyannamələri daxil olmaqla standart tarama nəzarət direktivlərini dəstəkləyir. Baiduspider-in nümunə uyğunluğunu necə şərh etdiyini başa düşmək mürəkkəb sayt arxitekturalarında təsadüfi istisnaların qarşısını almağa kömək edir.

Baiduspider dollar işarəsini ($) sətir sonu simvolunu və ulduz (*) şablon simvolunu tanıyır. Baidunun parserində nümunə üstünlüyü adətən ümumi nümunələrə nisbətən ən xüsusi qaydaya üstünlük verir. Allow direktivi və Disallow direktivi eyni simvol uzunluğunu paylaşdıqda, Baiduspider Allow qaydasına üstünlük verir. Sintaksisinizi təmiz və yığcam saxlamaq gözlənilməz tarayıcı davranışını minimuma endirir.

XML sayt xəritənizin yerini robots.txt faylı daxilində bəyannamə etmək də tövsiyə olunur. Faylın aşağı hissəsinə Sitemap: https://example.com/sitemap.xml kimi sətirlərin əlavə edilməsi Baiduspider-ə təmiz URL siyahılarına birbaşa yol təqdim edir və yeni dərc edilmiş mobil səhifələrin daha sürətli kəşf edilməsini asanlaşdırır.

Çoxregionlu veb-saytları yoxlayarkən biz kanonik teqlərin, mobil adaptasiya bəyannamələrinin və robots.txt direktivlərinin uyğunluq içində işləməsini təmin edirik. Tək bir səhv tənzimlənmiş Disallow qaydası aylarla aparılan mobil məzmun optimizasiyası işini heçə endirə bilər.

Alien Road SEO komandası

Alien Road Baiduspider üçün robots.txt tənzimləməsini necə tətbiq edir

Alien Road olaraq, komandamız Baidu axtarış layihələri üçün tarama təlimatlarını yoxlamaq, tənzimləmək və izləmək üçün strukturlaşdırılmış agentlik protokoluna əməl edir. Müştəri veb-saytları üçün optimal mobil performansını qorumaq üçün texniki tarama təhlilini birbaşa daha geniş böyümə iş axınlarına inteqrasiya edirik.

Tipik layihədə komandamız ilkin texniki kəşf mərhələsi ilə başlayır. Biz Baiduspider və Baiduspider-Mobile-ın mövcud robots.txt qaydaları ilə necə qarşılıqlı əlaqədə olduğunu müşahidə etmək üçün server giriş loqlarını təhlil edirik. /robots.txt üçün HTTP status cavablarının təmiz 200 kodları qaytardığını yoxlayır və kritik render resurslarının tarayıcılar üçün tamamilə açıq qalmasını təsdiqləyirik.

Texniki quraşdırma mərhələsində biz müştərinin arxitekturasına uyğunlaşdırılmış xüsusi qaydalar dəstləri hazırlayırıq. Cavab verən (responsive) veb-saytlar üçün biz User-agent: Baiduspider altında vahid qaydaları qoruyuruq. Ayrı mobil host strukturları üçün həm masaüstü, həm də mobil domenlər üzrə xüsusi tənzimləmə faylları yaradırıq. Biz həmçinin ilkin URL kəşfini sürətləndirmək üçün sayt xəritəsi URL-lərini açıq şəkildə bəyan edirik.

Ölçmə və təsdiqləmə üçün mütəxəssislərimiz Baidu Search Resource Platform-dakı texniki alətlərdən istifadə edərək tarama cavablarını sınayırlar. Biz yenilənmiş tənzimləmə fayllarını təqdim edirik, tarama xətası hesabatlarını izləyirik və bir neçə həftəlik monitorinq pəncərəsi üzərindən indeks statusunu nəzərdən keçiririk. Bu mərhələ yeni qaydaların istənməyən istisnalar yaratmadan tarixi tarama bloklarını həll etdiyini təsdiqləyir.

Nəhayət, davamlı hesabat zamanı biz tarama dərəcəsi tendensiyaları ilə yanaşı mobil eniş səhifəsi keçid nisbətlərini izləyirik. Komandamız Baiduspider-in öz sorğularını yüksək dəyərli, indekslənə bilən mobil eniş səhifələrinə yönəltməsini təmin etmək üçün müntəzəm tarama büdcəsi sağlamlıq yoxlamaları təmin edir.

Baidu tarana bilikliyi ilə bu həftə haradan başlamalı

Saytınızın Baiduspider və Baiduspider-Mobile üçün tam tarana bilən qalmasını təmin etmək üçün cari canlı robots.txt faylınızı nəzərdən keçirməklə başlayın. /robots.txt yolu üçün HTTP status cavablarının fasiləli şlyüz xətaları və ya server vaxtaşırıları olmadan etibarlı 200 status kodu qaytardığını yoxlamaq üçün server loqlarınızı yoxlayın.

Sonra, əsas mobil səhifə şablonlarınızı qadağan siyahınıza (disallow list) qarşı yoxlayın. Birinci ekranı render etmək üçün tələb olunan əsas CSS, JS və şəkil resurslarının tarama üçün açıq olduğunu təsdiqləyin. Bu təməl elementlərin dərhal həll edilməsi mobil indeksləşdirmə statusunuzu qoruyur və Baiduda davamlı axtarış performansını dəstəkləyir.