Robots Güncellemesi: Geleceğe Hazır Robots Exclusion Protocol

28 Mart 2025, Cuma

Robots Exclusion Protocol (REP) hakkındaki önceki yazılarımızda, robots.txt ve URI düzeyi kontrolleri gibi çeşitli bileşenleriyle halihazırda neler yapabileceğinizi incelemiştik. Bu yazımızda, REP’in otomatik istemciler ile insan web’i arasındaki sürekli gelişen ilişkide nasıl destekleyici bir rol oynayabileceğini keşfedeceğiz.

REP — özellikle de robots.txt — 2022 yılında şu standart haline geldi:
RFC9309. Ancak asıl ağır iş, standardizasyonundan önce yapıldı: 1994 ile 2022 yılları arasında zamana karşı verilen sınav, milyarlarca sunucu ve (kötü amaçlı yazılım tarayıcıları gibi düşmanca tarayıcılar hariç) neredeyse tüm büyük tarayıcı operatörleri tarafından benimsenmesini sağladı. Tercihleri basit ama çok yönlü bir sözdizimi ile ifade etmek için doğrudan ve zarif bir çözümdür. 25 yıllık varlığı boyunca orijinal formundan neredeyse hiç değişmesi gerekmedi, sadece bir
allow kuralı kazandı, tabii sadece tarayıcılar tarafından evrensel olarak desteklenen kuralları dikkate alırsak.

Bu, başka kural olmadığı anlamına gelmez; her tarayıcı operatörü kendi kurallarını oluşturabilir. Örneğin, “clean-param” ve “crawl-delay” gibi kurallar RFC9309’un bir parçası değildir, ancak bazı arama motorları tarafından desteklenirler — Google Arama tarafından desteklenmeseler de. Yine RFC9309’un bir parçası olmayan “sitemap” kuralı ise tüm büyük arama motorları tarafından desteklenmektedir. Yeterli destek sağlandığında, REP’te resmi bir kural haline gelebilir.

Çünkü REP aslında “güncellemeler” alabilir. Geniş çapta desteklenen bir protokoldür ve internetle birlikte büyümelidir. Bunda değişiklik yapmak imkansız değildir ancak kolay da değildir; zaten REP geniş çapta desteklendiği için kolay da olmamalıdır. Bir standartta yapılan her değişiklikte olduğu gibi, değişikliklerin hem yayıncılar hem de tarayıcı operatörleri tarafındaki kullanıcıların çoğunluğuna fayda sağladığına dair bir fikir birliği olması gerekir.

Basitliği ve geniş çaplı benimsenmesi nedeniyle REP, yeni tarama tercihlerini taşımak için mükemmel bir adaydır: Örneğin, milyarlarca yayıncı robots.txt ve sözdizimine zaten aşinadır, bu nedenle değişiklik yapmak onlar için daha doğal bir süreçtir. Diğer taraftan, tarayıcı operatörleri zaten sağlam, iyi test edilmiş ayrıştırıcılara ve eşleştiricilere sahiptir (Google ayrıca kendi robots.txt ayrıştırıcısınıaçık kaynaklı hale getirdi), bu da yeni kurallarla ilgili ayrıştırma sorunlarının yaşanmayacağının oldukça muhtemel olduğu anlamına gelir.

Aynı durum REP URI düzeyi uzantıları, X-robots-tag HTTP başlığı ve onun meta etiketi karşılığı için de geçerlidir. Vazgeçme (opt-out) tercihlerini iletmek için yeni bir kurala ihtiyaç duyulursa, bunlar kolayca genişletilebilir. Peki ama nasıl?

Siz okuyucunun yapabileceği en önemli şey, fikriniz hakkında herkese açık bir şekilde konuşmak ve bu fikir için destekçiler toplamaktır. REP halka açık bir standart olduğundan, hiçbir kurum tek taraflı değişiklik yapamaz; elbette kendi taraflarında yeni bir şey için destek uygulayabilirler ancak bu “STANDART” haline gelmez. Ancak bu değişiklik hakkında konuşmak ve ekosisteme — hem tarayıcı operatörlerine hem de yayıncılık ekosistemine — herkese fayda sağladığını göstermek fikir birliğini teşvik edecek ve standardı güncellemenin yolunu açacaktır.

Benzer şekilde, protokolde bir eksiklik varsa, bunu herkese açık bir şekilde dile getirin. sitemap
hem içerik oluşturucular hem de arama motorları için yararlı olduğundan robots.txt içinde geniş çapta desteklenen bir kural haline geldi ve bu da uzantının benimsenmesinin yolunu açtı. Bir kural için yeni bir fikriniz varsa, robots.txt tüketicilerine ve oluşturucularına bu konudaki düşüncelerini sorun, ortaya koydukları potansiyel (ve muhtemel) sorunları çözmek için onlarla birlikte çalışın ve bir teklif hazırlayın.

Eğer motivasyonunuz ortak iyiliğe hizmet etmekse, buna değer.

Yazan: Gary Illyes, Arama İlişkileri ekibi

Robots Güncellemesi serisinin geri kalanına göz atın: