robots.txt və Baiduspider

Baiduspider yoxlayır robots.txt kralama başlamazdan əvvəl domen kökündə. Sintaksis standart protokola əməl edir; aşağıdakı təfərrüatlar Baidu-nun digər axtarış sistemlərindən fərqləndiyi və ya daha dəqiq olduğu məqamlardır.

Əksər saytların səhv etdiyi qayda

Baidu bunu açıq şəkildə bildirir: hər şeyin indekslənməsini istəyirsinizsə, ümumiyyətlə robots.txt faylı yaratmayın. Fayl yalnız xaric etmək üçün mövcuddur. Boş və ya mövcud olmayan fayl saytı tamamilə açıq buraxır ki, bu da əksər saytlar üçün düzgün konfiqurasiyadır və insanların yarımçıq xatırladığı şablonla əvəz etdiyi konfiqurasiyadır.

Bloklama silinmə deməkdir

Bloklanmış səhifə robots.txt hələ də Baidu nəticələrində görünə bilər digər saytlar ona keçid etdikdə. Onun məzmunu kranlanmır, indekslənmir və ya göstərilmir — görünən digər saytların onun təsviridir. Bloklama kranlamağa nəzarət edir; mövcudluğa nəzarət etmir.

Direktiv dəqiqliyi

• Disallow: /help bloklayır /help.html, /helpabc.html və /help/index.html.
• Disallow: /help/ yalnız bloklayır /help/index.html — ilk ikisi kranlana bilən olaraq qalır.
• Boş Disallow: hər şeyə icazə verir; etibarlı faylda Disallow qeydi tələb olunur.
• Sıralama vacibdir: robot tətbiq edir ilk uyğun gələn Allow və ya Disallow sətrini. Bu, digər mühərriklərin istifadə etdiyi ən uzun uyğunluq qaydası deyil və Google üçün yazılmış fayl burada fərqli işləyə bilər.
• Şablon simvolları (Wildcards): * istənilən ardıcıllığa uyğun gəlir, $ sətrin sonuna uyğun gəlir.
• Uyğunluq hərf həssaslığına malikdir və dəqiqdir. Baidu xəbərdarlıq edir ki, hərf uyğunsuzluğu qaydanı səmərəsiz edir.

Baidu-ya xas meta direktivləri

• <meta name="robots" content="nofollow"> — keçidləri izləməyin və ya dəyər ötürməyin; <meta name="Baiduspider" content="nofollow"> bunu yalnız Baidu ilə məhdudlaşdırır.
• <meta name="robots" content="noarchive"> — kэşlənmiş surət yoxdur; Baidu-ya xas forma <meta name="Baiduspider" content="noarchive">-dir. Nəzərə alın ki, noarchive yalnız surəti gizlədir — səhifə hələ də indekslənir və xülasə ilə göstərilir.
• İlə keçid səviyyəsində nəzarət rel="nofollow" dəstəklənir.

Həqiqi Baiduspider-in müəyyən edilməsi

Baidu öz IP diapazonlarını dərc etmir; onlar dəyişir. Doğrulama istifadəçi agenti plus əks DNS vasitəsilə həyata keçirilir və üç istifadəçi agenti ailəsi mövcuddur — mobil, PC, və mini-proqram, ilə Baiduspider-render render üçün variantlar. IP ilə bloklama dəstəklənən strategiya deyil; əvvəlcə agenti yoxlamaq və DNS ilə təsdiqləmək dəstəklənir.