{"id":25085,"date":"2019-07-01T00:00:00","date_gmt":"2019-07-01T00:00:00","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/googles-robots-txt-parser-is-now-open-source\/"},"modified":"2019-07-01T00:00:00","modified_gmt":"2019-07-01T00:00:00","slug":"googles-robots-txt-parser-is-now-open-source","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/googles-robots-txt-parser-is-now-open-source\/","title":{"rendered":"Google'\u0131n robots.txt ayr\u0131\u015ft\u0131r\u0131c\u0131s\u0131 art\u0131k a\u00e7\u0131k kaynak"},"content":{"rendered":"

1 Temmuz 2019, Pazartesi<\/p>\n

\n 25 y\u0131l boyunca, Robots Exclusion Protocol (REP)<\/a>
\n yaln\u0131zca fiili bir standartt\u0131. Bu durum bazen sinir bozucu sonu\u00e7lar do\u011furuyordu. Bir yandan web y\u00f6neticileri i\u00e7in bu, metin edit\u00f6rlerinin robots.txt dosyalar\u0131na
\n BOM<\/a> karakterleri eklemesi gibi u\u00e7 durumlarda belirsizlik anlam\u0131na geliyordu. Di\u011fer yandan, taray\u0131c\u0131 ve ara\u00e7 geli\u015ftiricileri i\u00e7in de belirsizlik yarat\u0131yordu; \u00f6rne\u011fin, y\u00fczlerce megabayt b\u00fcy\u00fckl\u00fc\u011f\u00fcndeki robots.txt dosyalar\u0131yla nas\u0131l ba\u015fa \u00e7\u0131kmalar\u0131 gerekiyordu?\n<\/p>\n

\"Googlebot<\/p>\n

\n Bug\u00fcn, duyurduk ki<\/a> REP’i bir internet standard\u0131 haline getirme \u00e7abas\u0131na \u00f6nc\u00fcl\u00fck ediyoruz. Bu \u00f6nemli bir ad\u0131m olsa da, robots.txt dosyalar\u0131n\u0131 ayr\u0131\u015ft\u0131ran geli\u015ftiriciler i\u00e7in ekstra i\u015f anlam\u0131na geliyor.\n<\/p>\n

\n Yard\u0131m etmek i\u00e7in buraday\u0131z: biz a\u00e7\u0131k kaynak yapt\u0131k<\/a>
\n \u00fcretim sistemlerimizin robots.txt dosyalar\u0131ndaki kurallar\u0131 ayr\u0131\u015ft\u0131rmak ve e\u015fle\u015ftirmek i\u00e7in kulland\u0131\u011f\u0131 C++ k\u00fct\u00fcphanesini. Bu k\u00fct\u00fcphane 20 y\u0131ld\u0131r var ve 90’larda yaz\u0131lm\u0131\u015f kod par\u00e7alar\u0131 i\u00e7eriyor. O zamandan beri k\u00fct\u00fcphane geli\u015fti; web y\u00f6neticilerinin robots.txt dosyalar\u0131n\u0131 nas\u0131l yazd\u0131klar\u0131 ve kapsamam gereken u\u00e7 durumlar hakk\u0131nda \u00e7ok \u015fey \u00f6\u011frendik ve \u00f6\u011frendiklerimizi mant\u0131kl\u0131 oldu\u011funda internet tasla\u011f\u0131na da ekledik.\n<\/p>\n

\n Ayr\u0131ca, birka\u00e7 kural\u0131 test etmenize yard\u0131mc\u0131 olmas\u0131 i\u00e7in a\u00e7\u0131k kaynak paketine bir test arac\u0131 da dahil ettik. Derlendikten sonra kullan\u0131m\u0131 olduk\u00e7a basittir:\n<\/p>\n

\nrobots_main &lt;robots.txt i\u00e7eri\u011fi&gt; &lt;user_agent&gt; &lt;url&gt;<\/code>\n<\/p>\n

\n K\u00fct\u00fcphaneye g\u00f6z atmak isterseniz, GitHub depomuza giderek
\n robots.txt ayr\u0131\u015ft\u0131r\u0131c\u0131s\u0131na<\/a>ula\u015fabilirsiniz. Bunu kullanarak neler in\u015fa edebilece\u011finizi g\u00f6rmeyi \u00e7ok isteriz! K\u00fct\u00fcphaneyi kullanarak bir \u015fey in\u015fa ettiyseniz, bize
\n Twitter<\/a>\u00fczerinden bir yorum b\u0131rak\u0131n ve k\u00fct\u00fcphane hakk\u0131nda yorumlar\u0131n\u0131z veya sorular\u0131n\u0131z varsa bizi
\n GitHub<\/a>.\n<\/p>\n

\n Yay\u0131nlayan: Edu Pereda<\/a>,
\n Lode Vandevenne<\/a>ve
\n Gary Illyes<\/a>, Search Open Sourcing ekibi<\/p>\n","protected":false},"excerpt":{"rendered":"

1 Temmuz 2019, Pazartesi 25 y\u0131l boyunca, Robots Exclusion Protocol (REP) yaln\u0131zca fiili bir standartt\u0131. Bu durum bazen sinir bozucu sonu\u00e7lar do\u011furuyordu. Bir yandan web y\u00f6neticileri i\u00e7in bu, metin edit\u00f6rlerinin robots.txt dosyalar\u0131na BOM karakterleri eklemesi gibi u\u00e7 durumlarda belirsizlik anlam\u0131na geliyordu. Di\u011fer yandan, taray\u0131c\u0131 ve ara\u00e7 geli\u015ftiricileri i\u00e7in de belirsizlik yarat\u0131yordu; \u00f6rne\u011fin, y\u00fczlerce megabayt b\u00fcy\u00fckl\u00fc\u011f\u00fcndeki […]<\/p>\n","protected":false},"menu_order":81922,"template":"","meta":{"footnotes":""},"ar_kb_kategori":[665],"ar_kb_etiket":[],"class_list":["post-25085","ar_kb","type-ar_kb","status-publish","has-post-thumbnail","hentry","ar_kb_kategori-blog"],"_links":{"self":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25085","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb"}],"about":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/types\/ar_kb"}],"version-history":[{"count":0,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25085\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media\/27214"}],"wp:attachment":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media?parent=25085"}],"wp:term":[{"taxonomy":"ar_kb_kategori","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_kategori?post=25085"},{"taxonomy":"ar_kb_etiket","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_etiket?post=25085"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}