Google'ın robots.txt ayrıştırıcısı artık açık kaynak

1 Temmuz 2019, Pazartesi

25 yıl boyunca, Robots Exclusion Protocol (REP)
yalnızca fiili bir standarttı. Bu durum bazen sinir bozucu sonuçlar doğuruyordu. Bir yandan web yöneticileri için bu, metin editörlerinin robots.txt dosyalarına
BOM karakterleri eklemesi gibi uç durumlarda belirsizlik anlamına geliyordu. Diğer yandan, tarayıcı ve araç geliştiricileri için de belirsizlik yaratıyordu; örneğin, yüzlerce megabayt büyüklüğündeki robots.txt dosyalarıyla nasıl başa çıkmaları gerekiyordu?

Bugün, duyurduk ki REP’i bir internet standardı haline getirme çabasına öncülük ediyoruz. Bu önemli bir adım olsa da, robots.txt dosyalarını ayrıştıran geliştiriciler için ekstra iş anlamına geliyor.

Yardım etmek için buradayız: biz açık kaynak yaptık
üretim sistemlerimizin robots.txt dosyalarındaki kuralları ayrıştırmak ve eşleştirmek için kullandığı C++ kütüphanesini. Bu kütüphane 20 yıldır var ve 90’larda yazılmış kod parçaları içeriyor. O zamandan beri kütüphane gelişti; web yöneticilerinin robots.txt dosyalarını nasıl yazdıkları ve kapsamam gereken uç durumlar hakkında çok şey öğrendik ve öğrendiklerimizi mantıklı olduğunda internet taslağına da ekledik.

Ayrıca, birkaç kuralı test etmenize yardımcı olması için açık kaynak paketine bir test aracı da dahil ettik. Derlendikten sonra kullanımı oldukça basittir:

robots_main <robots.txt içeriği> <user_agent> <url>

Kütüphaneye göz atmak isterseniz, GitHub depomuza giderek
robots.txt ayrıştırıcısınaulaşabilirsiniz. Bunu kullanarak neler inşa edebileceğinizi görmeyi çok isteriz! Kütüphaneyi kullanarak bir şey inşa ettiyseniz, bize
Twitterüzerinden bir yorum bırakın ve kütüphane hakkında yorumlarınız veya sorularınız varsa bizi
GitHub.

Yayınlayan: Edu Pereda,
Lode Vandevenneve
Gary Illyes, Search Open Sourcing ekibi