Yeni açık kaynak robots.txt projeleri

21 Eylül 2020, Pazartesi

Geçen yıl, üretim sistemlerimizde kullandığımız
robots.txt ayrıştırıcı ve eşleştiricisini açık kaynak dünyasına sunduk. O günden bu yana, insanların bununla yeni araçlar geliştirdiğini,
katkıda bulunduğunu açık kaynak kütüphanesine (üretim sistemlerimizi etkili bir şekilde geliştirerek – teşekkürler!) ve yeni dil sürümleri yayınladığını gördük, örneğin golang ve
rust, bu da geliştiricilerin yeni araçlar oluşturmasını kolaylaştırıyor.

Google’da staj döneminin sona ermesiyle, Search Open Sourcing ekibinde çalışan iki stajyer tarafından mümkün kılınan robots.txt ile ilgili iki yeni sürümü öne çıkarmak istedik,
Andreea Dutulescu ve
Ian Dolzhanskii.

Robots.txt Spesifikasyon Testi

İlk olarak, Andreea tarafından oluşturulan robots.txt ayrıştırıcı geliştiricileri için bir
test çerçevesi yayınlıyoruz. Proje, bir robots.txt ayrıştırıcısının Robots Exclusion Protocol’ü takip edip etmediğini veya ne ölçüde takip ettiğini doğrulayabilen bir test aracı sunuyor. Şu anda bir ayrıştırıcının doğruluğunu değerlendirmek için resmi ve kapsamlı bir yol bulunmadığından, Andreea protokolü takip eden robots.txt ayrıştırıcıları oluşturmak için kullanılabilecek bir araç geliştirdi.

Java robots.txt ayrıştırıcı ve eşleştirici

İkinci olarak, Ian tarafından oluşturulan
C++ robots.txt ayrıştırıcısının resmi Java portunuyayınlıyoruz. Java,
GitHub’daki en popüler 3. programlama dili
ve Google’da da yoğun bir şekilde kullanılıyor, bu yüzden en çok talep edilen dil portu olması şaşırtıcı değil. Ayrıştırıcı, işlevler ve davranış açısından C++ ayrıştırıcısının birebir çevirisidir ve çok sayıda robots.txt kuralı kümesine karşı uyumluluk açısından kapsamlı bir şekilde test edilmiştir. Ekipler, Java robots.txt ayrıştırıcısını Google üretim sistemlerinde kullanmayı planlıyor ve sizin de faydalı bulacağınızı umuyoruz.

Her zaman olduğu gibi, bu projelere katkılarınızı bekliyoruz. Eğer
C++ robots.txt ayrıştırıcısı veya bu yeni sürümlerle bir şey geliştirdiyseniz, duyurmanıza yardımcı olabilmemiz için bize bildirin! Bir hata bulduysanız, GitHub’da bir sorun açarak veya doğrudan bir pull request ile katkıda bulunarak düzeltmemize yardımcı olun. Bu projeler hakkında sorularınız veya yorumlarınız varsa, bize
Twitter!

üzerinden ulaşın. Andreea ve Ian’a ev sahipliği yapmak bizim için gerçek bir zevkti ve stajlarının sona ermesinden dolayı üzgünüz. Katkıları İnternet’i daha iyi bir yer haline getirmeye yardımcı oluyor ve gelecekte onları tekrar Google’da ağırlayabilmeyi umuyoruz.

Yayınlayan: Edu Pereda ve
Gary Illyes, Google Search Open Sourcing ekibi