{"id":23962,"date":"2008-03-01T00:00:00","date_gmt":"2008-03-01T00:00:00","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/how-to-use-robots-txt\/"},"modified":"2008-03-01T00:00:00","modified_gmt":"2008-03-01T00:00:00","slug":"how-to-use-robots-txt","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/how-to-use-robots-txt\/","title":{"rendered":"robots.txt dosyas\u0131 nas\u0131l kullan\u0131l\u0131r"},"content":{"rendered":"

1 Mart 2008, Cumartesi<\/p>\n

\n Bir robots.txt<\/a> dosyas\u0131, web’i tarayan arama motoru robotlar\u0131na (k\u0131saca “botlar”) y\u00f6nelik k\u0131s\u0131tlamalar sa\u011flar. Bu botlar otomatiktir ve bir sitenin sayfalar\u0131na eri\u015fmeden \u00f6nce, belirli sayfalara eri\u015fimlerini engelleyen bir robots.txt dosyas\u0131n\u0131n var olup olmad\u0131\u011f\u0131n\u0131 kontrol ederler. \u0130\u00e7eri\u011finizin bir k\u0131sm\u0131n\u0131n arama motorlar\u0131 taraf\u0131ndan dizine eklenmesini engellemek istiyorsan\u0131z, robots.txt bunun i\u00e7in basit bir ara\u00e7t\u0131r. Bu yaz\u0131m\u0131zda, nas\u0131l kullan\u0131laca\u011f\u0131n\u0131 ele alaca\u011f\u0131z.\n<\/p>\n

Robots.txt Yerle\u015fimi<\/h2>\n

\n Robots.txt dosyas\u0131, bir veya daha fazla kay\u0131t i\u00e7eren bir metin dosyas\u0131d\u0131r. Robots.txt dosyas\u0131 alan ad\u0131n\u0131n k\u00f6k dizininde bulunmal\u0131 ve ad\u0131 tam olarak robots.txt olmal\u0131d\u0131r. Bir alt dizinde bulunan robots.txt dosyas\u0131 ge\u00e7erli de\u011fildir; \u00e7\u00fcnk\u00fc botlar bu dosyay\u0131 yaln\u0131zca alan ad\u0131n\u0131n k\u00f6k dizininde ararlar.\n<\/p>\n

\n \u00d6rne\u011fin,
\n https:\/\/www.example.com\/robots.txt<\/code> ge\u00e7erli bir konumdur. Ancak,
\n https:\/\/www.example.com\/mysite\/robots.txt<\/code> ge\u00e7erli de\u011fildir.\n<\/p>\n

Bir robots.txt \u00f6rne\u011fi:<\/p>\n

<\/div>\n

Robots.txt dosyas\u0131 kullanarak t\u00fcm web sitenizi engelleme veya kald\u0131rma<\/h2>\n

\n Sitenizi arama motorlar\u0131ndan kald\u0131rmak ve gelecekte t\u00fcm robotlar\u0131n siteyi taramas\u0131n\u0131 engellemek i\u00e7in, a\u015fa\u011f\u0131daki robots.txt dosyas\u0131n\u0131 sunucunuzun k\u00f6k dizinine yerle\u015ftirin:\n<\/p>\n

<\/div>\n

\n Sitenizi yaln\u0131zca Google’dan kald\u0131rmak ve gelecekte sadece Googlebot’un sitenizi taramas\u0131n\u0131 engellemek i\u00e7in, a\u015fa\u011f\u0131daki robots.txt dosyas\u0131n\u0131 sunucunuzun k\u00f6k dizinine yerle\u015ftirin:\n<\/p>\n

<\/div>\n

\n Her portun kendi robots.txt dosyas\u0131 olmal\u0131d\u0131r. \u00d6zellikle, i\u00e7eri\u011fi hem http hem de https \u00fczerinden sunuyorsan\u0131z, her protokol i\u00e7in ayr\u0131 bir robots.txt dosyas\u0131na ihtiyac\u0131n\u0131z olacakt\u0131r. \u00d6rne\u011fin, Googlebot’un t\u00fcm http sayfalar\u0131n\u0131 dizine eklemesine izin verip https sayfalar\u0131n\u0131 eklememesini sa\u011flamak i\u00e7in a\u015fa\u011f\u0131daki robots.txt dosyalar\u0131n\u0131 kullanabilirsiniz.\n<\/p>\n

Http protokol\u00fcn\u00fcz i\u00e7in (https:\/\/example.com\/robots.txt<\/code>):<\/p>\n

<\/div>\n

Https protokol\u00fc i\u00e7in (https:\/\/yourserver.com\/robots.txt<\/code>):<\/p>\n

<\/div>\n

T\u00fcm robotlara tam eri\u015fim izni verin<\/p>\n

<\/div>\n

(alternatif \u00e7\u00f6z\u00fcm: Sadece bo\u015f bir “\/robots.txt” dosyas\u0131 olu\u015fturun veya hi\u00e7 kullanmay\u0131n.)<\/p>\n

Robots.txt dosyas\u0131 kullanarak sayfalar\u0131 engelleme veya kald\u0131rma<\/h2>\n

Sitenizdeki sayfalar\u0131n Googlebot taraf\u0131ndan taranmas\u0131n\u0131 engellemek i\u00e7in bir robots.txt dosyas\u0131 kullanabilirsiniz.<\/p>\n

\n \u00d6rne\u011fin, manuel olarak bir robots.txt dosyas\u0131 olu\u015fturuyorsan\u0131z, Googlebot’un belirli bir dizin alt\u0131ndaki (\u00f6rne\u011fin, private) t\u00fcm sayfalar\u0131 taramas\u0131n\u0131 engellemek i\u00e7in \u015fu robots.txt giri\u015fini kullan\u0131rs\u0131n\u0131z:\n<\/p>\n

<\/div>\n

\n Googlebot’un belirli bir dosya t\u00fcr\u00fcndeki (\u00f6rne\u011fin, .gif) t\u00fcm dosyalar\u0131 taramas\u0131n\u0131 engellemek i\u00e7in \u015fu robots.txt giri\u015fini kullan\u0131rs\u0131n\u0131z:\n<\/p>\n

<\/div>\n

\n Googlebot’un ?<\/code> i\u00e7eren herhangi bir URL’yi taramas\u0131n\u0131 engellemek i\u00e7in (daha spesifik olarak, alan ad\u0131n\u0131zla ba\u015flayan, ard\u0131ndan herhangi bir karakter dizisi, ard\u0131ndan soru i\u015fareti ve ard\u0131ndan yine herhangi bir karakter dizisi gelen t\u00fcm URL’ler):\n<\/p>\n

<\/div>\n

\n Robots.txt ile engellenen sayfalar\u0131n i\u00e7eri\u011fini taramasak veya dizine eklemesek de, bu URL’leri web’deki di\u011fer sayfalarda bulursak tarayabilir ve dizine ekleyebiliriz. Sonu\u00e7 olarak, sayfan\u0131n URL’si veya siteye verilen ba\u011flant\u0131lardaki \u00e7apa metni (anchor text) gibi di\u011fer herkese a\u00e7\u0131k bilgiler Google arama sonu\u00e7lar\u0131nda g\u00f6r\u00fcnebilir. Ancak, sayfalar\u0131n\u0131zdan hi\u00e7bir i\u00e7erik taranmayacak, dizine eklenmeyecek veya g\u00f6r\u00fcnt\u00fclenmeyecektir.\n<\/p>\n

\n Google, web y\u00f6neticisi ara\u00e7lar\u0131n\u0131n bir par\u00e7as\u0131 olarak robots.txt analiz arac\u0131<\/a> sunmaktad\u0131r. Bu ara\u00e7, robots.txt dosyas\u0131n\u0131 Googlebot ile ayn\u0131 \u015fekilde okur ve Google kullan\u0131c\u0131 arac\u0131lar\u0131 i\u00e7in sonu\u00e7lar verir. Bunu kullanman\u0131z\u0131 \u015fiddetle \u00f6neririz. Robots.txt olu\u015fturmadan \u00f6nce, insanlarla ne kadar bilgi payla\u015fmak istedi\u011finizi veya neleri gizli tutman\u0131z gerekti\u011fini d\u00fc\u015f\u00fcnmelisiniz. Arama motorlar\u0131n\u0131n i\u00e7eri\u011finizi daha eri\u015filebilir k\u0131lmak i\u00e7in harika bir yol oldu\u011funu unutmay\u0131n. Robots.txt’yi do\u011fru kullanarak, kullan\u0131c\u0131lar\u0131n arama motorlar\u0131 arac\u0131l\u0131\u011f\u0131yla web sitenizi ziyaret etmesini sa\u011flarken, ayn\u0131 zamanda \u00f6zel bilgilerinizin a\u00e7\u0131\u011fa \u00e7\u0131kmas\u0131n\u0131 da engelleyebilirsiniz.\n<\/p>\n

Yazan: Chao Ma, In Hyuk Seok<\/p>\n","protected":false},"excerpt":{"rendered":"

1 Mart 2008, Cumartesi Bir robots.txt dosyas\u0131, web’i tarayan arama motoru robotlar\u0131na (k\u0131saca “botlar”) y\u00f6nelik k\u0131s\u0131tlamalar sa\u011flar. Bu botlar otomatiktir ve bir sitenin sayfalar\u0131na eri\u015fmeden \u00f6nce, belirli sayfalara eri\u015fimlerini engelleyen bir robots.txt dosyas\u0131n\u0131n var olup olmad\u0131\u011f\u0131n\u0131 kontrol ederler. \u0130\u00e7eri\u011finizin bir k\u0131sm\u0131n\u0131n arama motorlar\u0131 taraf\u0131ndan dizine eklenmesini engellemek istiyorsan\u0131z, robots.txt bunun i\u00e7in basit bir ara\u00e7t\u0131r. Bu […]<\/p>\n","protected":false},"menu_order":86061,"template":"","meta":{"footnotes":""},"ar_kb_kategori":[665],"ar_kb_etiket":[],"class_list":["post-23962","ar_kb","type-ar_kb","status-publish","has-post-thumbnail","hentry","ar_kb_kategori-blog"],"_links":{"self":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/23962","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb"}],"about":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/types\/ar_kb"}],"version-history":[{"count":0,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/23962\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media\/26580"}],"wp:attachment":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media?parent=23962"}],"wp:term":[{"taxonomy":"ar_kb_kategori","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_kategori?post=23962"},{"taxonomy":"ar_kb_etiket","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_etiket?post=23962"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}