Yeni açıq mənbəli robots.txt layihələri

21 sentyabr 2020-ci il, Bazar ertəsi

Keçən il biz
prodakşn sistemlərimizdə istifadə etdiyimiz robots.txt analayıcısını (parser) və uyğunlaşdırıcısını açıq mənbə dünyasına təqdim etdik. O vaxtdan bəri insanlar bundan yeni alətlər yaratmaq üçün istifadə ediblər,
töhfə veriblər açıq mənbə kitabxanasına (effektiv şəkildə prodakşn sistemlərimizi təkmilləşdirərək – təşəkkürlər!) və yeni golang və
rustkimi dil versiyaları buraxıblar ki, bu da tərtibatçılara yeni alətlər yaratmağı asanlaşdırır.

Google-da təcrübə proqramı mövsümünün başa çatması ilə biz Axtarış Açıq Mənbə (Search Open Sourcing) komandasında işləyən iki təcrübəçinin sayəsində həyata keçirilən robots.txt ilə bağlı iki yeni buraxılışı vurğulamaq istədik:
Andreea Dutulescu və
Ian Dolzhanskii.

Robots.txt Spesifikasiyası Testi

Birincisi, biz Andreea tərəfindən yaradılmış robots.txt
analizatoru tərtibatçıları üçün test çərçivəsini təqdim edirik. Layihə robots.txt analayıcısının Robots İstisna Protokoluna uyğun olub-olmadığını və ya hansı dərəcədə uyğun olduğunu yoxlaya bilən test aləti təmin edir. Hal-hazırda analayıcının düzgünlüyünü qiymətləndirmək üçün rəsmi və hərtərəfli üsul yoxdur, ona görə də Andreea protokola uyğun gələn robots.txt analayızıcıları yaratmaq üçün istifadə oluna bilən alət qurdu.

Java robots.txt analayıcısı və uyğunlaşdırıcısı

İkincisi, biz C++ robots.txt analayıcısının rəsmi
Java portunutəqdim edirik, İan tərəfindən yaradılmışdır. Java GitHub-da
3-cü ən populyar proqramlaşdırma dilidir
və o, həmçinin Google-da intensiv şəkildə istifadə olunur, ona görə də bunun ən çox tələb olunan dil portu olması təəccüblü deyil. Analayizator funksiyalar və davranış baxımından C++ analayizatorunun 1-ə 1 tərcüməsidir və o, robots.txt qaydalarının böyük korpusuna qarşı uyğunluq üçün hərtərəfli sınaqdan keçirilmişdir. Komandalar artıq Google prodakşn sistemlərində Java robots.txt analayıcısından istifadə etməyi planlaşdırırlar və ümid edirik ki, siz də bunu faydalı tapacaqsınız.

Həmişə olduğu kimi, bu layihələrə töhfələrinizi alqışlayırıq. Əgər siz
C++ robots.txt analayıcısı ilə və ya bu yeni buraxılışlarla nəsə yaratmısınızsa, bizə bildirin ki, potensial olaraq sözü yaymağa kömək edək! Əgər səhv tapmısınızsa, GitHub-da məsələ (issue) açaraq və ya birbaşa pul sorğusu (pull request) ilə töhfə verərək onu düzəltməyə kömək edin. Bu layihələr haqqında suallarınız və ya şərhləriniz varsa, bizə
Twitter!

üzərindən yazın.

Andreea və İana ev sahibliyi etmək bizim üçün əsl zövq idi və onların təcrübə proqramının bitdiyinə görə kədərlənirik. Onların töhfələri İnsanlığa interneti daha yaxşı yer etməyə kömək edir və ümid edirik ki, gələcəkdə onları yenidən Google-da qarşılaya bilərik. Müəllif: Edu Pereda
vəGary Illyes