{"id":25084,"date":"2019-07-01T00:00:00","date_gmt":"2019-07-01T00:00:00","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/formalizing-the-robots-exclusion-protocol-specification\/"},"modified":"2019-07-01T00:00:00","modified_gmt":"2019-07-01T00:00:00","slug":"formalizing-the-robots-exclusion-protocol-specification","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/formalizing-the-robots-exclusion-protocol-specification\/","title":{"rendered":"Robots Exclusion Protocol Spesifikasyonunu Resmile\u015ftirmek"},"content":{"rendered":"

1 Temmuz 2019 Pazartesi<\/p>\n

\n 25 y\u0131ld\u0131r Robots Exclusion Protocol (REP), web’in en temel ve kritik bile\u015fenlerinden biri olmu\u015ftur. Bu protokol, web sitesi sahiplerinin otomatik istemcileri, \u00f6rne\u011fin
\n web taray\u0131c\u0131lar\u0131n\u0131<\/a>, sitelerine eri\u015fmekten k\u0131smen veya tamamen d\u0131\u015flamalar\u0131na olanak tan\u0131r.\n<\/p>\n

\n 1994 y\u0131l\u0131nda, Martijn Koster<\/a>
\n (kendisi de bir web y\u00f6neticisi olan), taray\u0131c\u0131lar sitesini bunaltt\u0131ktan sonra ilk standard\u0131 olu\u015fturdu. Di\u011fer web y\u00f6neticilerinden gelen ek girdilerle REP do\u011fdu ve web sitesi sahiplerinin sunucu kaynaklar\u0131n\u0131 daha kolay y\u00f6netmelerine yard\u0131mc\u0131 olmak i\u00e7in arama motorlar\u0131 taraf\u0131ndan benimsendi.\n<\/p>\n

\n Ancak, REP hi\u00e7bir zaman resmi bir
\n \u0130nternet standard\u0131<\/a>haline getirilmedi; bu da geli\u015ftiricilerin protokol\u00fc y\u0131llar i\u00e7inde biraz farkl\u0131 yorumlad\u0131\u011f\u0131 anlam\u0131na geliyor. Ve ortaya \u00e7\u0131k\u0131\u015f\u0131ndan bu yana, REP g\u00fcn\u00fcm\u00fcz\u00fcn u\u00e7 durumlar\u0131n\u0131 kapsayacak \u015fekilde g\u00fcncellenmedi. Bu, web sitesi sahipleri i\u00e7in zorlu bir sorun \u00e7\u00fcnk\u00fc belirsiz fiili standart, kurallar\u0131 do\u011fru bir \u015fekilde yazmay\u0131 zorla\u015ft\u0131r\u0131yordu.\n<\/p>\n

\n Web sitesi sahiplerinin ve geli\u015ftiricilerin, taray\u0131c\u0131lar\u0131 nas\u0131l kontrol edecekleri konusunda endi\u015felenmek yerine internette harika deneyimler yaratmalar\u0131na yard\u0131mc\u0131 olmak istedik. Protokol\u00fcn orijinal yazar\u0131, web y\u00f6neticileri ve di\u011fer arama motorlar\u0131yla birlikte, REP’in modern web’de nas\u0131l kullan\u0131ld\u0131\u011f\u0131n\u0131 belgeledik ve IETF’ye sunduk.\n<\/p>\n

\n \u00d6nerilen REP tasla\u011f\u0131, hem Googlebot hem de di\u011fer b\u00fcy\u00fck taray\u0131c\u0131lar\u0131n yan\u0131 s\u0131ra REP’e g\u00fcvenen yakla\u015f\u0131k yar\u0131m milyar web sitesi taraf\u0131ndan kullan\u0131lan robots.txt kurallar\u0131na g\u00fcvenmenin 20 y\u0131l\u0131 a\u015fk\u0131n ger\u00e7ek d\u00fcnya deneyimini yans\u0131tmaktad\u0131r. Bu hassas kontroller, yay\u0131nc\u0131ya sitelerinde nelerin taranmas\u0131n\u0131 ve potansiyel olarak ilgili kullan\u0131c\u0131lara g\u00f6sterilmesini istediklerine karar verme g\u00fcc\u00fc verir. 1994 y\u0131l\u0131nda olu\u015fturulan kurallar\u0131 de\u011fi\u015ftirmez, aksine robots.txt ayr\u0131\u015ft\u0131rma ve e\u015fle\u015ftirme i\u00e7in tan\u0131mlanmam\u0131\u015f t\u00fcm senaryolar\u0131 esasen tan\u0131mlar ve modern web i\u00e7in geni\u015fletir. \u00d6zellikle:\n<\/p>\n

    \n
  1. \n Herhangi bir
    \n     URI tabanl\u0131 aktar\u0131m protokol\u00fc<\/a>
    \n robots.txt kullanabilir. \u00d6rne\u011fin, art\u0131k sadece HTTP ile s\u0131n\u0131rl\u0131 de\u011fildir ve FTP veya
    \n     CoAP<\/a>
    \n i\u00e7in de kullan\u0131labilir.\n <\/li>\n
  2. \n Geli\u015ftiriciler bir robots.txt dosyas\u0131n\u0131n en az ilk 500
    \n     kibibyte<\/a> k\u0131sm\u0131n\u0131 ayr\u0131\u015ft\u0131rmal\u0131d\u0131r. Maksimum dosya boyutunun tan\u0131mlanmas\u0131, ba\u011flant\u0131lar\u0131n \u00e7ok uzun s\u00fcre a\u00e7\u0131k kalmamas\u0131n\u0131 sa\u011flayarak sunucular \u00fczerindeki gereksiz y\u00fck\u00fc hafifletir.\n <\/li>\n
  3. \n 24 saatlik yeni bir maksimum \u00f6nbelle\u011fe alma s\u00fcresi veya mevcutsa \u00f6nbellek y\u00f6nergesi de\u011feri, web sitesi sahiplerine robots.txt dosyalar\u0131n\u0131 istedikleri zaman g\u00fcncelleme esnekli\u011fi sa\u011flar ve taray\u0131c\u0131lar web sitelerini robots.txt istekleriyle a\u015f\u0131r\u0131 y\u00fcklemez. \u00d6rne\u011fin, HTTP durumunda, \u00f6nbelle\u011fe alma s\u00fcresini belirlemek i\u00e7in Cache-Control ba\u015fl\u0131klar\u0131 kullan\u0131labilir.\n <\/li>\n
  4. \n Spesifikasyon art\u0131k, daha \u00f6nce eri\u015filebilir olan bir robots.txt dosyas\u0131n\u0131n sunucu hatalar\u0131 nedeniyle eri\u015filemez hale gelmesi durumunda, bilinen izin verilmeyen sayfalar\u0131n makul derecede uzun bir s\u00fcre taranmamas\u0131n\u0131 \u015fart ko\u015fmaktad\u0131r.\n <\/li>\n<\/ol>\n

    \n Ek olarak,
    \n     art\u0131r\u0131lm\u0131\u015f Backus-Naur formu<\/a>
    \n internet tasla\u011f\u0131nda, geli\u015ftiricilerin sat\u0131rlar\u0131 ayr\u0131\u015ft\u0131rmas\u0131 i\u00e7in kritik olan robots.txt s\u00f6zdizimini daha iyi tan\u0131mlamak \u00fczere g\u00fcncellenmi\u015ftir.\n<\/p>\n

    \n RFC, Yorum \u0130ste\u011fi (Request for Comments) anlam\u0131na gelir ve bunu ciddiye al\u0131yoruz: internetin temel yap\u0131 ta\u015flar\u0131n\u0131 \u00f6nemseyen geli\u015ftiricilerden geri bildirim almak i\u00e7in tasla\u011f\u0131 IETF’ye y\u00fckledik. Web yarat\u0131c\u0131lar\u0131na, Googlebot’a ne kadar bilginin sunulmas\u0131n\u0131 istediklerini ve dolay\u0131s\u0131yla Arama’da g\u00f6r\u00fcnmeye uygun olup olmad\u0131\u011f\u0131n\u0131 s\u00f6ylemeleri i\u00e7in ihtiya\u00e7 duyduklar\u0131 kontrolleri verme konusunda \u00e7al\u0131\u015f\u0131rken, bunu do\u011fru yapt\u0131\u011f\u0131m\u0131zdan emin olmal\u0131y\u0131z.\n<\/p>\n

    \n Bize yorum b\u0131rakmak, soru sormak veya sadece merhaba demek isterseniz, bizi
    \n     Twitter<\/a> \u00fczerinde ve
    \n     Web Y\u00f6neticisi Toplulu\u011fumuzda<\/a>, \u00e7evrimd\u0131\u015f\u0131<\/a> ve \u00e7evrimi\u00e7i bulabilirsiniz.\n<\/p>\n

    \n Yazan: Henner Zeller<\/a>,
    \n     Lizzi Sassman<\/a>ve
    \n     Gary Illyes<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

    1 Temmuz 2019 Pazartesi 25 y\u0131ld\u0131r Robots Exclusion Protocol (REP), web’in en temel ve kritik bile\u015fenlerinden biri olmu\u015ftur. Bu protokol, web sitesi sahiplerinin otomatik istemcileri, \u00f6rne\u011fin web taray\u0131c\u0131lar\u0131n\u0131, sitelerine eri\u015fmekten k\u0131smen veya tamamen d\u0131\u015flamalar\u0131na olanak tan\u0131r. 1994 y\u0131l\u0131nda, Martijn Koster (kendisi de bir web y\u00f6neticisi olan), taray\u0131c\u0131lar sitesini bunaltt\u0131ktan sonra ilk standard\u0131 olu\u015fturdu. Di\u011fer web […]<\/p>\n","protected":false},"menu_order":81922,"template":"","meta":{"footnotes":""},"ar_kb_kategori":[665],"ar_kb_etiket":[],"class_list":["post-25084","ar_kb","type-ar_kb","status-publish","has-post-thumbnail","hentry","ar_kb_kategori-blog"],"_links":{"self":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25084","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb"}],"about":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/types\/ar_kb"}],"version-history":[{"count":0,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25084\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media\/27213"}],"wp:attachment":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media?parent=25084"}],"wp:term":[{"taxonomy":"ar_kb_kategori","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_kategori?post=25084"},{"taxonomy":"ar_kb_etiket","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_etiket?post=25084"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}