7 Mart 2025, Cümə
Veb sayt sahibləri üçün uzun müddətdir mövcud olan bir alət olan robots.txt 30 ildən artıqdır ki, aktiv şəkildə istifadə olunur və başlıca olaraq skaner operatorları (sayt sahibləri, xidmətlər və axtarış sistemləri üçün alətlər kimi) tərəfindən geniş şəkildə dəstəklənir. Bu buraxılışda robots xatırlatması seriyası, biz robotlara veb saytınızda nə etmək istədiyinizi (və ya nə etməmək istədiyinizi) bildirməyin çevik yolu kimi robots.txt-yə daha yaxından nəzər salacağıq.
robots.txt ilə başlanğıc
Bu faylların işləmə prinsipi sadədir: “robots.txt” adlı mətn faylı yaradırsınız və onu veb saytınıza yükləyirsiniz — əgər məzmun idarəetmə sistemindən (CMS) istifadə edirsinizsə, bu, daha da asandır. Bütün saytınızın skan edilməsinə icazə verilərsə, robots.txt faylınızı boş saxlaya bilərsiniz (və ya ümumiyyətlə olmaya bilər) və ya skan etməni idarə etmək üçün qaydalar əlavə edə bilərsiniz. Məsələn, bütün botlara (skanerlər, robotlar, hörümçəklər kimi də tanınır) “səbətə at” səhifənizdən uzaq durmağı söyləmək üçün robots.txt faylınıza bunları yaza bilərsiniz:
robots.txt ilə edə biləcəyiniz daha xüsusi şeylər
robots.txt fərqli robotların veb saytınızda nə etməsini və ya etməməsini istədiyinizi ifadə etmək üçün İsveçrə bıçağı kimidir: o, yalnız bir neçə sətir ola bilər və ya çox xüsusi URL nümunələrini hədəfləyən daha mürəkkəb qaydalarla mürəkkəb ola bilər. Siz robots.txt faylından texniki problemləri həll etmək üçün (məsələn, lazımsız səhifələrə bölünmüş səhifələr), və ya redaksiya və ya şəxsi səbəblərdən (məsələn, müəyyən şeylərin skan edilməsini istəməmək) istifadə edə bilərsiniz. Məsələn, siz aşağıdakıları edə bilərsiniz:
Birdən çox bota (amma hamısına yox) eyni qayda haqqında məlumat verin  Bu qrup həm | |
Bir bota müəyyən mətn parçası ehtiva edən yollardan qaçmağı tapşırın Məsələn, siz | |
Bir bota bloqunuzu skan etməyə icazə verildiyini, lakin qaralamaların skan edilmədiyini söyləyin | |
Digər skanerlərin saytınıza daxil olmasına icazə verərkən skaneri veb saytınızın bir hissəsindən bloklayın Bu robots.txt faylı qeyd olunan | |
Gələcək özünüz üçün şərh buraxın Siz sətirə |
Hətta daha çoxu üçün bizim faydalı robots.txt qaydaları siyahısı.
nəzərdən keçirə bilərsiniz
robots.txt faylınızda dəyişikliklər etmək (praktikada) Robotların İstisna Protokolu (REP) qaydaları (“icazə ver” və ya “qadağan et“) bir araya gətirmək və bu qaydaların hansı robotlara aid olduğunu təyin etməklə işləyir.
Proqramlaşdırma öyrənməyə və ya alətlərlə əlləşməyə ehtiyac yoxdur; sadəcə bu qaydaları mətn faylına qoyub veb saytınıza yükləyə bilərsiniz.
Əksər veb saytlar üçün bundan daha sadədir! Əgər CMS-dən istifadə edirsinizsə, adətən robots.txt faylınızı dəyişdirməyə kömək etmək üçün artıq daxil edilmiş bir şey var. Məsələn, bəzi CMS-lər sizə işarələmə qutularından istifadə edərək və ya sadə forma ilə robots.txt faylınızı fərdiləşdirməyə imkan verir və bir çoxunda robots.txt faylınız üçün qaydalar təyin etməyə və yazmağa kömək edən plaginlər var. CMS-nizdə nəyin mümkün olduğunu yoxlamaq üçün CMS-nizin adı + “edit robots.txt file” axtarışı edə bilərsiniz.
Hər şeyi quraşdırdıqdan sonra faylınızın nəzərdə tutduğunuz kimi qurulduğundan əmin olmaq üçün də yoxlaya bilərsiniz. Veb icması tərəfindən bunda kömək etmək üçün yaradılmış bir çox sınaq aləti var, məsələn
TametheBot-un robots.txt sınaq aləti və açıq mənbəli robots.txt təhlilçi kitabxanasından istifadə edən bu.
robots.txt təhlilçisi robots.txt haqqında hər hansı bir sualınız varsa, bizi
LinkedIn platformasında tapa bilərsiniz və ya.
John Mueller
Bunu necə tətbiq edirik
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Əlaqəli xidmətlər