robots.txt axtarış robotları üçün tarama parametrlərini müəyyən edir. Bölmələrin məhdudlaşdırılması server yükünü azaldır və saytın sürətini artırır. Yandex öz genişləndirmələri ilə Robots Exclusion Protokolunu dəstəkləyir.
Əvvəl gələn və ən çox əhəmiyyət kəsb edən xəbərdarlıq
Burada məhdudlaşdırılan səhifələr robots.txt hələ də Yandex axtarışında görüne bilər. Bir səhifəni nəticələrdən silmək üçün HTML və ya HTTP başlığında noindex direktivindən istifadə etməli və həmin səhifəni robots.txtfaylında bloklamamalısınız, çünki bloklanmış səhifə heç vaxt yüklənmir və noindex heç vaxt görünmür.
Bu, texniki SEO-da ən mühüm anlaşılmazlıqdır və Yandex bunu ilk abzasda qeyd edir. Bloklama tarama büdcəsi ilə bağlıdır; noindex isə axtarışdakı mövzuqla bağlıdır. Birincidən ikinciyə nail olmaq üçün istifadə etmək səhifənin həmişəlik indeksdə qalmasına zəmanət verir.
Fayl tələbləri
- Maksimum 500 KB.
- Adı olan TXT faylı
robots.txt. - Kök kataloqda Robotlar üçün əlçatandır və.
- 200 OK
qaytarır. Əgər fayl bu tələblərə cavab verməzsə, sayt indeksləşdirmə üçün açıq hesab olunur..
Qüsurlu və ya əlçatmaz fayl təhlükəsizlik şəbəkəsi deyil — o, açıq qapıdır. Yönləndirmə xüsusiyyəti
Yandex bir saytın
robots.txt faylından digər saytın faylına yönləndirməni qəbul edir və hədəf fayldakı direktivləri tətbiq edir. Bu, xüsusilə faydalıdır sayt köçürülməsi zamanı , burada hər iki domen uyğun qaydalar təqdim etməlidir — və məhz buna görə miqrasiya təlimatı iki faylın razılaşmasını tələb edir.Dəstəklənən direktivlər
User-agent
— qaydaların hansı ronota tətbiq olunduğunu göstərir.Disallow— bölmələrin və ya səhifələrin tarandığını qadağan edir.Sitemap— protokolla birlikdə tam şəkildə göstərilən sayt xəritəsinin yolu.Clean-param— nəzərə alınmayacaq parametrləri bəyan edən Yandex genişləndirməsi.Yoxlama
Faylı konsolun robots.txt analizatorunda təkcə sintaksis üçün deyil, faktiki URL-lərlə sınayın. Təmiz təhlil olunan və səhv qovluğu bloklayan fayl heç bir xəta bildirmir.
Using robots.txt | Yandex — Alien Road
Bunu necə tətbiq edirik
The block-versus-noindex distinction is the single most useful thing on this page and the mistake we correct most often: a client blocks a page in robots.txt to get it out of search, and it stays in search forever because the robot can no longer read the noindex. The other detail worth remembering is that a broken robots.txt means an open site — a 500 error on that file removes every restriction at once.
Əlaqəli xidmətlər