Robots Yeniləməsi: Gələcəyə davamlı Robotların İstisna Protokolu

28 mart 2025-ci il, cümə

Robotların İstisna Protokolu (REP) ilə bağlı əvvəlki yazılarımızda onun müxtəlif komponentləri — yəni robots.txt və URI səviyyəli idarəetmə vasitələri ilə artıq nə edə biləcəyinizi araşdırdıq.
Bu yazıda biz REP-in avtomatik müştərilər və insan vebi arasında daim inkişaf edən əlaqədə necə dəstəkləyici rol oynaya biləcəyini araşdıracağıq.

REP — xüsusən də robots.txt — 2022-ci ildə standartlaşdırıldı
RFC9309.
Lakin əsas iş onun standartlaşdırılmasından əvvəl görülmüşdü: 1994-1992-ci illər arasında zamanın sınağı onu milyardlarla host və demək olar ki, bütün əsas skaner operatorları (malware skanerləri kimi zərərli skanerlər istisna olmaqla) tərəfindən qəbul olunacaq qədər populyarlaşdırdı. Bu, sadə, lakin çox yönlü sintaksislə üstünlükləri ifadə etmək üçün sadə və zərif həlldir.
25 illik mövcudluğu ərzində o, demək olar ki, ilkin formasından dəyişməli olmadı, o, yalnız bir
allow qaydasını əldə etdi, əgər biz yalnız skanerlər tərəfindən universal şəkildə dəstəklənən qaydaları nəzərə alsaq.

Bu o demək deyil ki, başqa qaydalar yoxdur; istənilən skaner operatoru öz qaydaları ilə çıxış edə bilər. Məsələn, “clean-param” və “crawl-delay” kimi qaydalar RFC9309-un bir hissəsi deyil, lakin onlar bəzi axtarış sistemləri tərəfindən dəstəklənir — Google Search olmasa da.
Yenə də RFC9309-un bir hissəsi olmayan “sitemap” qaydası bütün əsas axtarış sistemləri tərəfindən dəstəklənir. Kafi dəstək verilsə, o, REP-də rəsmi qaydaya çevrilə bilər.

Çünki REP həqiqətən də “yeniləmələr” ala bilər. Bu, geniş şəkildə dəstəklənən protokoldur və internetlə birlikdə böyüməlidir. Ona dəyişikliklər etmək qeyri-mümkün deyil, lakin bu, asan deyil; asan olmamalıdır, məhz ona görə ki, REP geniş şəkildə dəstəklənir. Standartda edilən hər hansı dəyişiklikdə olduğu kimi, dəyişikliklərin həm nəşriyyatçıların, həm də skaner operatorlarının tərəfindən protokol istifadəçilərinin əksəriyyətinə fayda verdiyinə dair konsensus olmalıdır.

Sadəliyi və geniş şəkildə qəbul olunması sayəsində REP yeni tarama üstünlüklərini daşımaq üçün əla namizəddir: məsələn, milyardlarla nəşriyyatçı robots.txt və onun sintaksisi ilə artıq tanışdır, ona görə də onda dəyişikliklər etmək onlar üçün daha təbiidir. Digər tərəfdən, skaner operatorları artıq möhkəm, yaxşı sınaqdan keçirilmiş təhlilçilərə və uyğunlaşdırıcılara malikdir (və Google həmçinin öz robots.txt parser-ini açıq mənbəli etmişdir),
bu o deməkdir ki, yeni qaydalarla bağlı təhlil problemlərinin olmaması ehtimalı yüksəkdir.

Eyni şey REP URI səviyyəli uzantılarına, X-robots-tag HTTP başlığına və onun meta teq qarşılığına şamil edilir. İmtina üstünlüklərini daşımaq üçün yeni qaydaya ehtiyac varsa, onlar asanlıqla genişləndirilə bilər. Necə peki?

Sizin, yəni oxucunun edə biləcəyi ən vacib şey, fikrinizi ictimai şəkildə müzakirə etmək və həmin fikir üçün tərəfdarlar toplamaqdır. REP ictimai standart olduğundan, heç bir qurum ona birtərəfli dəyişikliklər edə bilməz; əlbəttə ki, onlar öz tərəflərində nəsə yeni bir şey üçün dəstək tətbiq edə bilərlər, lakin bu, STANDART olamayacaq. Lakin həmin dəyişikliyi müzakirə etmək və ekosistemə — həm skaner operatorlarına, həm də nəşriyyat ekosisteminə — bunun hər kəsə fayda verdiyini göstərmək konsensusa səbəb olacaq və bu, standartın yenilənməsinə yol açır.

Eynilə, əgər protokolda nəsə çatışmırsa, bunu ictimaiyyət müzakirə edin. sitemap
robots.txt-də geniş dəstəklənən qaydaya çevrildi, ஏçünki o, məzmun yaradıcıları və axtarış sistemləri üçün eyni dərəcədə faydalı idi ki, bu da uzantının qəbul edilməsinə yol açdı. Əgər qayda üçün yeni bir ideyanız varsa, robots.txt istehlakçılarından və yaradıcılarından bunun haqqında nə düşündüklərini soruşun və onların qaldırdığı potensial (və ehtimal olunan) problemləri həll etmək üçün onlarla işləyin və təklif yazın.

Əgər hərəkətverici qüvvəniz ümumi rifaha xidmət etməkdirsə, buna dəyər.

Paylaşdı Gary Illyes, Search Relations komandası

Robots Yeniləməsi seriyasının qalan hissəsinə baxın: