Robot bununla başlayan qeydləri axtarır: User-agent: və ya alt sətri uyğunlaşdırır Yandex (registrə həssas olmadan) və ya *. Prioritet qaydaları sərtdir və robots.txt xətalarının əksəriyyətinə səbəb olur.
Prioritet qaydaları
- Əgər
User-agent: Yandexmövcuddursa,User-agent: *tamamilə nəzərə alınmır — birləşdirilmir, sadəcə nəzərə alınmır. Qlobal hesab etdiyiniz qaydalar tətbiq olunmur. - Əgər blok mövcuddursa xüsusi Yandex robotu üçün, məsələn
YandexBot, onda həm ümumiYandexbloku, həm də*həmin robot üçün istifadə olunmur. - Əgər nə
Yandexnə də*tapılmasa, robotun məhdudiyyətsiz girişi var.
Yandex-in öz nümunəsi tələni əyani göstərir: faylda YandexBot, Yandex və * blokları yalnız birincini əsas indeksləmə robotuna, yalnız ikincini digər Yandex robotlarına, üçüncünü isə heç birinə tətbiq etmir.
Formatlaşdırma
Boş sətir hər birindən əvvəl gəlməlidir User-agent direktivi. # şərhə başlayır və sətrin sonuna qədər hər şey nəzərə alınmır — bu da sonrakı qaydaları ayıran boş sətir qaydası ilə birlikdə səssizcə sıradan çıxan faylların əksəriyyətini izah edir. Heç kimin gözləmədiyi istisna Bəzi Yandex robotları nəzərə almaya bilər
robots.txt
direktivlərini, o cümlədən altında olanları User-agent: Yandex . Bunları məhdudlaşdırmaq üçün onların dəqiq user agent adını öz blokunda qeyd etməlisiniz. Məhz buna görə də hər şeyi blokladığını düşünən sayt heç eşitmədiyi Yandex agentindən gələn tarama (crawling) görə bilər. Faylın praktiki quruluşu. Üçün bir blok yazın
Yandex
Yandex-ə tətbiq olunmalı olan hər bir qaydanı ehtiva edən və ayrı bir tam blok . Onlar arasındakı irsiyyətə güvənməyin, çünki bu, mövcud deyil. Burada dublikat düzgündür, artıq deyil. Yoxlama *Analizatorda hər user agent üçün xüsusi URL-ləri sınayın. Alət robotun özünün tətbiq etdiyi eyni prioritet qaydalarını tətbiq edir ki, bu da verilmiş ünvanı hansı blokun faktiki idarə etdiyini təsdiqləməyin yeganə etibarlı yoludur.
The User-agent directive | Yandex — Alien Road
The robot looks for records beginning with User-agent: and matches either the substring Yandex (case-insensitively) or *.
Bunu necə tətbiq edirik
The rule we most often have to explain is that a Yandex block makes the wildcard block invisible. Teams add a Yandex-specific rule for one directory and unknowingly drop every general restriction they had. We write the two blocks out in full, duplicated, and test URLs per agent rather than reading the file and reasoning about it.
Əlaqəli xidmətlər