24 \u015eubat 2006<\/p>\n
\n Birka\u00e7 hafta \u00f6nce bir \n Bir robots.txt dosyas\u0131, web’i tarayan arama motoru robotlar\u0131na (“botlar” olarak bilinir) k\u0131s\u0131tlamalar sa\u011flar. Bu botlar otomatiktir ve bir sitenin sayfalar\u0131na eri\u015fmeden \u00f6nce, belirli sayfalara eri\u015fimlerini engelleyen bir robots.txt dosyas\u0131n\u0131n var olup olmad\u0131\u011f\u0131n\u0131 kontrol ederler.\n<\/p>\n \n Yaln\u0131zca sitenizde arama motorlar\u0131n\u0131n dizine eklemesini istemedi\u011finiz i\u00e7erikler varsa gereklidir. Sitenizdeki her \u015feyin arama motorlar\u0131 taraf\u0131ndan dizine eklenmesini istiyorsan\u0131z, bir robots.txt dosyas\u0131na (bo\u015f bir tane bile olsa) ihtiyac\u0131n\u0131z yoktur.\n<\/p>\n \n robots.txt dosyas\u0131 mutlaka<\/em> alan ad\u0131n\u0131n k\u00f6k dizininde bulunmal\u0131d\u0131r. Bir alt dizinde bulunan robots.txt dosyas\u0131 ge\u00e7erli de\u011fildir, \u00e7\u00fcnk\u00fc botlar bu dosyay\u0131 yaln\u0131zca alan ad\u0131n\u0131n k\u00f6k dizininde kontrol ederler. \u00d6rne\u011fin, \n Bu dosyay\u0131 herhangi bir metin d\u00fczenleyicide olu\u015fturabilirsiniz. HTML dosyas\u0131 de\u011fil, En basit robots.txt dosyas\u0131 iki kural kullan\u0131r:<\/p>\n \n Bu iki sat\u0131r, dosya i\u00e7inde tek bir girdi olarak kabul edilir. \u0130stedi\u011finiz kadar girdi ekleyebilirsiniz. Tek bir girdiye birden fazla Disallow sat\u0131r\u0131 ekleyebilirsiniz.\n<\/p>\n \n User-agent, belirli bir arama motoru robotudur. \n \n URL’ler b\u00fcy\u00fck\/k\u00fc\u00e7\u00fck harfe duyarl\u0131d\u0131r. \u00d6rne\u011fin, \n Google birka\u00e7 farkl\u0131 user-agent kullan\u0131r. Bir girdinin User-Agent sat\u0131r\u0131na bot ad\u0131n\u0131 ekleyerek bunlardan herhangi birine eri\u015fimi engelleyebilirsiniz.\n<\/p>\n \n Evet, Googlebot, robots.txt standard\u0131n\u0131n \n \n Bu girdiler, \n Evet, \n Evet, Googlebot baz\u0131 kal\u0131p e\u015fle\u015ftirmelerini yorumlar. Bu, standard\u0131n bir uzant\u0131s\u0131d\u0131r, bu nedenle t\u00fcm botlar bunu takip etmeyebilir.\n<\/p>\n \n Bir karakter dizisini e\u015fle\u015ftirmek i\u00e7in y\u0131ld\u0131z i\u015fareti (
\n robots.txt analiz arac\u0131<\/a>
\n yay\u0131nlad\u0131k. Bu ara\u00e7,
\n Googlebot<\/a>
\n robotunun robots.txt dosyan\u0131z\u0131 nas\u0131l yorumlad\u0131\u011f\u0131 hakk\u0131nda size bilgi verir.
\n robots.txt Robots D\u0131\u015flama Standard\u0131<\/a>
\n hakk\u0131nda daha fazla bilgi okuyabilirsiniz, ancak burada baz\u0131 yayg\u0131n sorular\u0131 yan\u0131tlaman\u0131n faydal\u0131 olaca\u011f\u0131n\u0131 d\u00fc\u015f\u00fcnd\u00fck.\n<\/p>\nrobots.txt dosyas\u0131 nedir?<\/h2>\n
Sitemin bir robots.txt dosyas\u0131na ihtiyac\u0131 var m\u0131?<\/h2>\n
robots.txt dosyas\u0131 nerede bulunmal\u0131d\u0131r?<\/h2>\n
https:\/\/www.example.com\/robots.txt<\/code> ge\u00e7erli bir konumdur. Ancak, https:\/\/www.example.com\/mysite\/robots.txt<\/code> ge\u00e7erli de\u011fildir. Bir alan ad\u0131n\u0131n k\u00f6k dizinine eri\u015fiminiz yoksa,
\n Robots META etiketi<\/a>
\n kullanarak eri\u015fimi k\u0131s\u0131tlayabilirsiniz.\n<\/p>\nNas\u0131l robots.txt dosyas\u0131 olu\u015ftururum?<\/h2>\n
\n ASCII kodlu bir metin dosyas\u0131<\/a>
\n olmal\u0131d\u0131r. Dosya ad\u0131 k\u00fc\u00e7\u00fck harflerle yaz\u0131lmal\u0131d\u0131r.\n<\/p>\nrobots.txt dosyam\u0131n s\u00f6zdizimi nas\u0131l olmal\u0131d\u0131r?<\/h2>\n
\n
User-Agent:<\/code><\/strong> a\u015fa\u011f\u0131daki kural\u0131n uyguland\u0131\u011f\u0131 robot<\/li>\nDisallow:<\/code><\/strong> engellemek istedi\u011finiz sayfalar<\/li>\n<\/ul>\nUser-Agent<\/code><\/h2>\n
\n Web Robotlar\u0131 Veritaban\u0131<\/a>
\n bir\u00e7ok yayg\u0131n botu listeler. Bir girdiyi belirli bir bota (ad\u0131n\u0131 listeleyerek) veya t\u00fcm botlara (y\u0131ld\u0131z i\u015fareti kullanarak) uygulanacak \u015fekilde ayarlayabilirsiniz. T\u00fcm botlar i\u00e7in ge\u00e7erli olan bir girdi \u015fu \u015fekilde g\u00f6r\u00fcn\u00fcr:\n<\/p>\nDisallow<\/code><\/h2>\nDisallow<\/code> sat\u0131r\u0131, engellemek istedi\u011finiz sayfalar\u0131 listeler. Belirli bir URL’yi veya bir kal\u0131b\u0131 listeleyebilirsiniz. Girdi bir e\u011fik \u00e7izgi (\/) ile ba\u015flamal\u0131d\u0131r.\n<\/p>\n\n
Disallow: \/<\/code>\n <\/li>\n
\n Disallow: \/private_directory\/<\/code>\n <\/li>\n
\n Disallow: \/private_file.html<\/code>\n <\/li>\n<\/ul>\nDisallow: \/private_file.html<\/code> ifadesi https:\/\/www.example.com\/private_file.html<\/code> adresini engeller, ancak https:\/\/www.example.com\/Private_File.html<\/code> adresine izin verir.\n<\/p>\nGooglebot’u nas\u0131l engellerim?<\/h2>\n
\n
\n web dizinimizden<\/a> tarar.\n <\/li>\n
\n mobil dizinimiz<\/a> i\u00e7in tarar.\n <\/li>\n
\n g\u00f6rsel dizinimiz<\/a> i\u00e7in tarar.\n <\/li>\n
\n AdSense i\u00e7eri\u011fini<\/a> belirlemek i\u00e7in tarar (yaln\u0131zca sitenizde AdSense reklamlar\u0131 g\u00f6steriyorsan\u0131z kullan\u0131l\u0131r).\n <\/li>\n<\/ul>\nSayfalara izin verebilir miyim?<\/h2>\n
Allow<\/code> adl\u0131 bir uzant\u0131s\u0131n\u0131 tan\u0131r. Bu uzant\u0131 di\u011fer t\u00fcm arama motoru botlar\u0131 taraf\u0131ndan tan\u0131nmayabilir, bu y\u00fczden ilgilendi\u011finiz di\u011fer arama motorlar\u0131n\u0131 kontrol edin. Allow<\/code> sat\u0131r\u0131 tam olarak Disallow<\/code> sat\u0131r\u0131 gibi \u00e7al\u0131\u015f\u0131r. Sadece izin vermek istedi\u011finiz dizini veya sayfay\u0131 listeleyin.\n<\/p>\nDisallow<\/code> ve Allow<\/code> komutlar\u0131n\u0131 birlikte kullanmak isteyebilirsiniz. \u00d6rne\u011fin, bir alt dizindeki t\u00fcm sayfalara eri\u015fimi engellemek ancak bir tanesine izin vermek i\u00e7in \u015fu girdileri kullanabilirsiniz:\n<\/p>\nmyfile.html<\/code> hari\u00e7 folder1 dizini i\u00e7indeki t\u00fcm sayfalar\u0131 engeller.\n<\/p>\n\n Sitemdeki baz\u0131 sayfalar\u0131n dizine eklenmesini istemiyorum ama bu sayfalarda AdSense reklamlar\u0131 g\u00f6stermek istiyorum. Bunu yapabilir miyim?
\n<\/h2>\nMediapartners-Google<\/code> d\u0131\u015f\u0131ndaki t\u00fcm botlar\u0131n bu sayfalara eri\u015fimini Disallow<\/code> ile engelleyebilirsiniz. Bu, sayfalar\u0131n dizine eklenmesini \u00f6nler ancak Googlebot-MediaPartners<\/code> botunun g\u00f6sterilecek reklamlar\u0131 belirlemek i\u00e7in sayfalar\u0131 analiz etmesine olanak tan\u0131r. Googlebot-MediaPartners<\/code> botu, sayfalar\u0131 di\u011fer Google user-agent’lar\u0131 ile payla\u015fmaz. \u00d6rne\u011fin, \u015fu girdileri kullanabilirsiniz:\n<\/p>\nEngellemek istedi\u011fim her dosyay\u0131 listelemek istemiyorum. Kal\u0131p e\u015fle\u015ftirme kullanabilir miyim?<\/h2>\n
Bir karakter dizisini e\u015fle\u015ftirme<\/h2>\n
*<\/code>) kullanabilirsiniz. \u00d6rne\u011fin, private<\/code> ile ba\u015flayan t\u00fcm alt dizinlere eri\u015fimi engellemek i\u00e7in \u015fu girdiyi kullanabilirsiniz:\n<\/p>\nDosyam\u0131n istediklerimi engelledi\u011finden ve izin verdi\u011finden nas\u0131l emin olabilirim?<\/h2>\n