Konsolun robots.txt analizatoru səhvlər və xəbərdarlıqlar göstərir ki, bunların da bir neçəsi Yandex uzantıları — faylın Yandex-də poza biləcəyi, lakin başqa yerdə pozmayacağı qaydalardır. Bu fərq məhz bu bələdçinin əhəmiyyətini müəyyən edir: Google-un analizatorundan keçən fayl burada rədd edilə bilər.
Səhvlər, Yandex-ə xas olanlar qeyd olunmaqla
- Qayda / və ya * ilə başlamır (Yandex uzantısı) — qayda yalnız bu simvollarla başlaya bilər.
- Çoxlu
User-agent: *qaydaları — bu cür yalnız bir bloka icazə verilir. - Fayl ölçüsü həddi aşıldı (Yandex) — fayl həddi aşır 2048 qayda. Böyük kataloqlarda avtomatik yaradılan robots.txt faylları buna görə xəta verir.
- Qaydadan əvvəl User-agent direktivi yoxdur — qaydalar
User-agentsətrini izləməlidir. Yandex ehtimal olunan səbəbi əlavə edir:User-agent-dən sonra bloku sonlandıran boş sətr. Fayl düzgün görünür və altındakı qaydalar heç kimə şamil olunmur. - Qayda çox uzundur (Yandex) — 1024 simvoldan.
- çox Etibarsız Sitemap URL-i (Yandex)
- — sayt xəritəsi protokol ilə birlikdə tam şəkildə göstərilməlidir. Nisbi yol geniş yayılmış və səssizcə baş verən səhvdir. Etibarsız Clean-param formatı (Yandex)
&—
ilə ayrılmış bir və ya bir neçə parametr, sonra boşluq və yol prefiksi.
Xəbərdarlıqlar * Qeyri-qanuni simvol ( $və
başqa hər hansı xüsusi simvol); naməlum direktiv (Yandex-in qaydalarında yoxdur — çox vaxt başqa axtarış sistemi üçün etibarlı direktivdir, məhz buna görə də bu, səhv deyil, xəbərdarlıqdır); şərh edilə bilməyən sətrdə sintaksis xətası və dəstək müraciəti tələb edən naməlum səhv.
URL yoxlama xətaları Müəyyən bir URL-i fayla qarşı sınayarkən: URL-də sintaksis xətası və ya “bu URL sizin domeninizə aid deyil”
— bu adətən əsas ünvan əvəzinə saytın alternativ ünvanını yapışdırdığınızı bildirir. Yandex-in güzgülərlə necə işlədiyini nəzərə alsaq, bu səhvə yol vermək asandır və başadüşülməsi çaşdırıcıdır.
Analizatordan necə düzgün istifadə etməli
Bunu necə tətbiq edirik
The two findings we hit most often are the empty line after User-agent, which silently detaches every rule beneath it, and a relative sitemap path that Yandex simply ignores. Neither shows up as a visible problem — the file is served, the syntax looks fine, and the rules do nothing. We always test specific URLs rather than trusting a clean parse, and we test them against the primary address, because the alternate one returns a confusing domain error.
Əlaqəli xidmətlər