Google-un robots.txt təhlilçisi artıq açıq mənbəlidir

1 iyul 2019-cu il, Bazar ertəsi

25 ildir ki, Robots İstisna Protokolu (REP)
yalnız de-fakto standart idi. Bunun bəzən məyusedici nəticələri olub. Bir tərəfdən, veb-ustalar üçün bu, mətn redaktorunun robots.txt fayllarına
BOM simvolları daxil etdiyi hallar kimi xüsusi hallarda qeyri-müəyyənlik demək idi. Digər tərəfdən, skaner və alət tərtibatçılar üçün də qeyri-müəyyənlik gətirdi; məsələn, yüzlərlə meqabayt ölçüsündə olan robots.txt faylları ilə necə davranmalıdırlar?

Bu gün elan etdik ki, biz REP-i internet standartına çevirmək səylərinə rəhbərlik edirik. Bu vacib addım olsa da, robots.txt fayllarını təhlil edən tərtibatçılar üçün əlavə iş deməkdir.

Kömək etmək üçün buradayıq: biz açıq mənbəli etdik
istehsal sistemlərimizin robots.txt fayllarında qaydaları təhlil etmək və uyğunlaşdırmaq üçün istifadə etdiyi C++ kitabxanasını. Bu kitabxana 20 ildir mövcuddur və o, 90-cı illərdə yazılmış kod parçalarını ehtiva edir. O vaxtdan bəri kitabxana təkmilləşdi; veb-ustaların robots.txt fayllarını necə yazdıqları və əhatə etməli olduğumuz xüsusi hallar haqqında çox şey öyrəndik və məntiqli olduqda öyrəndiklərimizi illər ərzində internet layihəsinə də əlavə etdik.

Biz həmçinin bir neçə qaydanı sınamağa kömək etmək üçün açıq mənbə paketə sınaq aləti daxil etdik. Qurulduqdan sonra istifadəsi çox sadədir:

robots_main <robots.txt content> <user_agent> <url>

Kitabxananı yoxlamaq istəyirsinizsə, GitHub repozitoriyamıza keçin
robots.txt təhlilçisi. Ümid edirik
ki, ondan istifadə edərək nə yarada biləcəyinizi görəcəyik! Kitabxana vasitəsilə nəsə qurmusunuzsa, bizə şərh yazın
Twitter, və əgər kitabxana haqqında şərhləriniz və ya suallarınız varsa, bizi burada tapın
GitHub.

Tərəfindən paylaşıldı Edu Pereda,
Lode Vandevenne, və
Gary Illyes, Axtarış Açıq Mənbə komandası