28 Mart 2025, Cuma<\/p>\n
\n Robots Exclusion Protocol (REP) hakk\u0131ndaki \u00f6nceki yaz\u0131lar\u0131m\u0131zda, robots.txt ve URI d\u00fczeyi kontrolleri gibi \u00e7e\u015fitli bile\u015fenleriyle halihaz\u0131rda neler yapabilece\u011finizi incelemi\u015ftik. Bu yaz\u0131m\u0131zda, REP’in otomatik istemciler ile insan web’i aras\u0131ndaki s\u00fcrekli geli\u015fen ili\u015fkide nas\u0131l destekleyici bir rol oynayabilece\u011fini ke\u015ffedece\u011fiz.\n<\/p>\n
\n REP \u2014 \u00f6zellikle de robots.txt \u2014 2022 y\u0131l\u0131nda \u015fu standart haline geldi: \n Bu, ba\u015fka kural olmad\u0131\u011f\u0131 anlam\u0131na gelmez; her taray\u0131c\u0131 operat\u00f6r\u00fc kendi kurallar\u0131n\u0131 olu\u015fturabilir. \u00d6rne\u011fin, “ \n \u00c7\u00fcnk\u00fc REP asl\u0131nda “g\u00fcncellemeler” alabilir. Geni\u015f \u00e7apta desteklenen bir protokold\u00fcr ve internetle birlikte b\u00fcy\u00fcmelidir. Bunda de\u011fi\u015fiklik yapmak imkans\u0131z de\u011fildir ancak kolay da de\u011fildir; zaten REP geni\u015f \u00e7apta desteklendi\u011fi i\u00e7in kolay da olmamal\u0131d\u0131r. Bir standartta yap\u0131lan her de\u011fi\u015fiklikte oldu\u011fu gibi, de\u011fi\u015fikliklerin hem yay\u0131nc\u0131lar hem de taray\u0131c\u0131 operat\u00f6rleri taraf\u0131ndaki kullan\u0131c\u0131lar\u0131n \u00e7o\u011funlu\u011funa fayda sa\u011flad\u0131\u011f\u0131na dair bir fikir birli\u011fi olmas\u0131 gerekir.\n<\/p>\n \n Basitli\u011fi ve geni\u015f \u00e7apl\u0131 benimsenmesi nedeniyle REP, yeni tarama tercihlerini ta\u015f\u0131mak i\u00e7in m\u00fckemmel bir adayd\u0131r: \u00d6rne\u011fin, milyarlarca yay\u0131nc\u0131 robots.txt ve s\u00f6zdizimine zaten a\u015finad\u0131r, bu nedenle de\u011fi\u015fiklik yapmak onlar i\u00e7in daha do\u011fal bir s\u00fcre\u00e7tir. Di\u011fer taraftan, taray\u0131c\u0131 operat\u00f6rleri zaten sa\u011flam, iyi test edilmi\u015f ayr\u0131\u015ft\u0131r\u0131c\u0131lara ve e\u015fle\u015ftiricilere sahiptir (Google ayr\u0131ca kendi robots.txt ayr\u0131\u015ft\u0131r\u0131c\u0131s\u0131n\u0131<\/a>a\u00e7\u0131k kaynakl\u0131 hale getirdi), bu da yeni kurallarla ilgili ayr\u0131\u015ft\u0131rma sorunlar\u0131n\u0131n ya\u015fanmayaca\u011f\u0131n\u0131n olduk\u00e7a muhtemel oldu\u011fu anlam\u0131na gelir.\n<\/p>\n \n Ayn\u0131 durum REP URI d\u00fczeyi uzant\u0131lar\u0131, \n Siz okuyucunun yapabilece\u011fi en \u00f6nemli \u015fey, fikriniz hakk\u0131nda herkese a\u00e7\u0131k bir \u015fekilde konu\u015fmak ve bu fikir i\u00e7in destek\u00e7iler toplamakt\u0131r. REP halka a\u00e7\u0131k bir standart oldu\u011fundan, hi\u00e7bir kurum tek tarafl\u0131 de\u011fi\u015fiklik yapamaz; elbette kendi taraflar\u0131nda yeni bir \u015fey i\u00e7in destek uygulayabilirler ancak bu “STANDART” haline gelmez. Ancak bu de\u011fi\u015fiklik hakk\u0131nda konu\u015fmak ve ekosisteme \u2014 hem taray\u0131c\u0131 operat\u00f6rlerine hem de yay\u0131nc\u0131l\u0131k ekosistemine \u2014 herkese fayda sa\u011flad\u0131\u011f\u0131n\u0131 g\u00f6stermek fikir birli\u011fini te\u015fvik edecek ve standard\u0131 g\u00fcncellemenin yolunu a\u00e7acakt\u0131r.\n<\/p>\n \n Benzer \u015fekilde, protokolde bir eksiklik varsa, bunu herkese a\u00e7\u0131k bir \u015fekilde dile getirin. E\u011fer motivasyonunuz ortak iyili\u011fe hizmet etmekse, buna de\u011fer.<\/p>\n
\n RFC9309<\/a>. Ancak as\u0131l a\u011f\u0131r i\u015f, standardizasyonundan \u00f6nce yap\u0131ld\u0131: 1994 ile 2022 y\u0131llar\u0131 aras\u0131nda zamana kar\u015f\u0131 verilen s\u0131nav, milyarlarca sunucu ve (k\u00f6t\u00fc ama\u00e7l\u0131 yaz\u0131l\u0131m taray\u0131c\u0131lar\u0131 gibi d\u00fc\u015fmanca taray\u0131c\u0131lar hari\u00e7) neredeyse t\u00fcm b\u00fcy\u00fck taray\u0131c\u0131 operat\u00f6rleri taraf\u0131ndan benimsenmesini sa\u011flad\u0131. Tercihleri basit ama \u00e7ok y\u00f6nl\u00fc bir s\u00f6zdizimi ile ifade etmek i\u00e7in do\u011frudan ve zarif bir \u00e7\u00f6z\u00fcmd\u00fcr. 25 y\u0131ll\u0131k varl\u0131\u011f\u0131 boyunca orijinal formundan neredeyse hi\u00e7 de\u011fi\u015fmesi gerekmedi, sadece bir
\n allow<\/code> kural\u0131 kazand\u0131, tabii sadece taray\u0131c\u0131lar taraf\u0131ndan evrensel olarak desteklenen kurallar\u0131 dikkate al\u0131rsak.\n<\/p>\nclean-param<\/code>” ve “crawl-delay<\/code>” gibi kurallar RFC9309’un bir par\u00e7as\u0131 de\u011fildir, ancak baz\u0131 arama motorlar\u0131 taraf\u0131ndan desteklenirler \u2014 Google Arama taraf\u0131ndan desteklenmeseler de. Yine RFC9309’un bir par\u00e7as\u0131 olmayan “sitemap<\/code>” kural\u0131 ise t\u00fcm b\u00fcy\u00fck arama motorlar\u0131 taraf\u0131ndan desteklenmektedir. Yeterli destek sa\u011fland\u0131\u011f\u0131nda, REP’te resmi bir kural haline gelebilir.\n<\/p>\nX-robots-tag<\/code> HTTP ba\u015fl\u0131\u011f\u0131 ve onun meta etiketi kar\u015f\u0131l\u0131\u011f\u0131 i\u00e7in de ge\u00e7erlidir. Vazge\u00e7me (opt-out) tercihlerini iletmek i\u00e7in yeni bir kurala ihtiya\u00e7 duyulursa, bunlar kolayca geni\u015fletilebilir. Peki ama nas\u0131l?\n<\/p>\nsitemap<\/code>
\n hem i\u00e7erik olu\u015fturucular hem de arama motorlar\u0131 i\u00e7in yararl\u0131 oldu\u011fundan robots.txt i\u00e7inde geni\u015f \u00e7apta desteklenen bir kural haline geldi ve bu da uzant\u0131n\u0131n benimsenmesinin yolunu a\u00e7t\u0131. Bir kural i\u00e7in yeni bir fikriniz varsa, robots.txt t\u00fcketicilerine ve olu\u015fturucular\u0131na bu konudaki d\u00fc\u015f\u00fcncelerini sorun, ortaya koyduklar\u0131 potansiyel (ve muhtemel) sorunlar\u0131 \u00e7\u00f6zmek i\u00e7in onlarla birlikte \u00e7al\u0131\u015f\u0131n ve bir teklif haz\u0131rlay\u0131n.\n<\/p>\n