{"id":25345,"date":"2025-03-07T00:00:00","date_gmt":"2025-03-07T00:00:00","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/robots-refresher-robots-txt-a-flexible-way-to-control-how-machines-explore-your-website\/"},"modified":"2025-03-07T00:00:00","modified_gmt":"2025-03-07T00:00:00","slug":"robots-refresher-robots-txt-a-flexible-way-to-control-how-machines-explore-your-website","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/robots-refresher-robots-txt-a-flexible-way-to-control-how-machines-explore-your-website\/","title":{"rendered":"Robots Refresher: robots.txt \u2014 makinelerin web sitenizi nas\u0131l ke\u015ffedece\u011fini kontrol etmenin esnek bir yolu"},"content":{"rendered":"

7 Mart 2025, Cuma<\/p>\n

\n Web sitesi sahipleri i\u00e7in uzun s\u00fcredir kullan\u0131lan bir ara\u00e7 olan robots.txt, 30 y\u0131l\u0131 a\u015fk\u0131n s\u00fcredir aktif olarak kullan\u0131lmaktad\u0131r ve taray\u0131c\u0131 operat\u00f6rleri (site sahipleri i\u00e7in ara\u00e7lar, hizmetler ve arama motorlar\u0131 gibi) taraf\u0131ndan geni\u015f \u00e7apta desteklenmektedir. Robots Refresher serimizin bu b\u00f6l\u00fcm\u00fcnde, robots refresher serisi<\/a>, robots.txt’yi robotlara web sitenizde ne yapmalar\u0131n\u0131 (veya yapmamalar\u0131n\u0131) s\u00f6ylemenin esnek bir yolu olarak daha yak\u0131ndan inceleyece\u011fiz.\n<\/p>\n

robots.txt ile ba\u015flang\u0131\u00e7<\/h2>\n

\n Bu dosyalar\u0131n \u00e7al\u0131\u015fma \u015fekli basittir: “robots.txt” ad\u0131nda bir metin dosyas\u0131 olu\u015fturur ve bunu web sitenize y\u00fcklersiniz; bir i\u00e7erik y\u00f6netim sistemi (CMS) kullan\u0131yorsan\u0131z, bu muhtemelen daha da kolayd\u0131r. Sitenizin tamam\u0131n\u0131n taranmas\u0131nda bir sak\u0131nca yoksa robots.txt dosyan\u0131z\u0131 bo\u015f b\u0131rakabilir (veya hi\u00e7 olu\u015fturmayabilirsiniz) ya da taramay\u0131 y\u00f6netmek i\u00e7in kurallar ekleyebilirsiniz. \u00d6rne\u011fin, t\u00fcm botlara (taray\u0131c\u0131lar, robotlar, \u00f6r\u00fcmcekler olarak da bilinir) “sepete ekle” sayfan\u0131zdan uzak durmalar\u0131n\u0131 s\u00f6ylemek i\u00e7in robots.txt dosyan\u0131za \u015funlar\u0131 yazabilirsiniz:\n<\/p>\n

<\/div>\n

robots.txt ile yapabilece\u011finiz daha \u00f6zel \u015feyler<\/h2>\n

\n robots.txt, farkl\u0131 robotlar\u0131n web sitenizde ne yap\u0131p ne yapmayaca\u011f\u0131n\u0131 ifade etmenin \u0130svi\u00e7re \u00e7ak\u0131s\u0131 gibidir: sadece birka\u00e7 sat\u0131rdan olu\u015fabilece\u011fi gibi, \u00e7ok \u00f6zel URL kal\u0131plar\u0131n\u0131 hedefleyen daha ayr\u0131nt\u0131l\u0131 kurallarla karma\u015f\u0131k da olabilir. robots.txt dosyas\u0131n\u0131 teknik sorunlar\u0131 \u00e7\u00f6zmek (\u00f6rne\u011fin, gereksiz sayfaland\u0131r\u0131lm\u0131\u015f sayfalar<\/a>) veya editoryal ya da ki\u015fisel nedenlerle (\u00f6rne\u011fin, baz\u0131 \u015feylerin taranmas\u0131n\u0131 istememek gibi) kullanabilirsiniz. \u00d6rne\u011fin \u015funlar\u0131 yapabilirsiniz:\n<\/p>\n\n\n\n\n <\/colgroup>\n\n\n\n\n\n
\n

Birden fazla bota (hepsine de\u011fil) ayn\u0131 kural hakk\u0131nda bilgi verin<\/b><\/p>\n

\n Bu grup hem examplebot<\/code> hem de otherbot<\/code> botuna \/search<\/code> yolundan uzak durmalar\u0131n\u0131 s\u00f6yler.\n <\/p>\n<\/td>\n

<\/span><\/p>\n
<\/div>\n<\/td>\n<\/tr>\n
\n

Bir bota, belirli bir metin par\u00e7as\u0131n\u0131 i\u00e7eren yollardan ka\u00e7\u0131nmas\u0131n\u0131 s\u00f6yleyin<\/b><\/p>\n

\n \u00d6rne\u011fin, documentsbot<\/code> botuna, ad\u0131nda “.pdf” i\u00e7eren hi\u00e7bir dosyay\u0131 taramamas\u0131 talimat\u0131n\u0131 verebilirsiniz.\n <\/p>\n<\/td>\n

<\/span><\/p>\n
<\/div>\n<\/td>\n<\/tr>\n
\n

Bir bota blogunuzu tarayabilece\u011fini ancak taslaklar\u0131 tarayamayaca\u011f\u0131n\u0131 s\u00f6yleyin<\/b><\/p>\n<\/td>\n

<\/span><\/p>\n
<\/div>\n<\/td>\n<\/tr>\n
\n

Bir taray\u0131c\u0131y\u0131 web sitenizin bir k\u0131sm\u0131ndan engellerken di\u011fer taray\u0131c\u0131lar\u0131n sitenize eri\u015fmesine izin verin<\/b><\/p>\n

\n Bu robots.txt dosyas\u0131, belirtilen aicorp-trainer-bot<\/code> botunun ana sayfa d\u0131\u015f\u0131nda hi\u00e7bir \u015feye eri\u015fmesini engellerken, di\u011fer taray\u0131c\u0131lar\u0131n (arama motorlar\u0131 gibi) siteye eri\u015fmesine izin verir.\n <\/p>\n<\/td>\n

<\/span><\/p>\n
<\/div>\n<\/td>\n<\/tr>\n
\n

Gelecekteki kendiniz i\u00e7in bir not b\u0131rak\u0131n<\/b><\/p>\n

\n Bir sat\u0131ra #<\/code> ile ba\u015flayarak belirli bir kural\u0131 neden oraya koydu\u011funuzu kendinize hat\u0131rlatabilirsiniz.\n <\/p>\n<\/td>\n

\n <\/span><\/p>\n
<\/div>\n<\/td>\n<\/tr>\n<\/table>\n

\n Daha fazlas\u0131 i\u00e7in faydal\u0131 robots.txt kurallar\u0131 listemize<\/a>.\n<\/p>\n

robots.txt dosyan\u0131zda de\u011fi\u015fiklik yapma (pratik olarak) <\/h2>\n

\n Robots Exclusion Protocol (REP) Robots Exclusion Protocol (REP)<\/a> , kurallar\u0131 (“allow<\/span>” veya “disallow<\/span>“) bir araya getirerek ve bu kurallar\u0131n hangi robotlar i\u00e7in ge\u00e7erli oldu\u011funu belirterek \u00e7al\u0131\u015f\u0131r. Programlama \u00f6\u011frenmenize veya ara\u00e7larla u\u011fra\u015fman\u0131za gerek yoktur; bu kurallar\u0131 bir metin dosyas\u0131na koyup web sitenize y\u00fcklemeniz yeterlidir.\n<\/p>\n

\n \u00c7o\u011fu web sitesi i\u00e7in bu \u00e7ok daha basittir! Bir CMS kullan\u0131yorsan\u0131z, genellikle robots.txt dosyan\u0131z\u0131 de\u011fi\u015ftirmenize yard\u0131mc\u0131 olacak yerle\u015fik bir \u00f6zellik bulunur. \u00d6rne\u011fin, baz\u0131 CMS’ler robots.txt dosyan\u0131z\u0131 onay kutular\u0131 veya basit bir form arac\u0131l\u0131\u011f\u0131yla \u00f6zelle\u015ftirmenize olanak tan\u0131r ve bir\u00e7o\u011funun robots.txt dosyan\u0131z i\u00e7in kurallar olu\u015fturman\u0131za ve yazman\u0131za yard\u0131mc\u0131 olan eklentileri vard\u0131r. CMS’niz i\u00e7inde nelerin m\u00fcmk\u00fcn oldu\u011funu kontrol etmek i\u00e7in CMS ad\u0131n\u0131z +”edit robots.txt file” \u015feklinde bir arama yapabilirsiniz.\n<\/p>\n

\n Her \u015feyi ayarlad\u0131ktan sonra, dosyan\u0131z\u0131n ama\u00e7lad\u0131\u011f\u0131n\u0131z gibi ayarland\u0131\u011f\u0131ndan emin olmak i\u00e7in test yapabilirsiniz. Web toplulu\u011fu taraf\u0131ndan bu konuda yard\u0131mc\u0131 olmak i\u00e7in olu\u015fturulmu\u015f bir\u00e7ok test arac\u0131 vard\u0131r, \u00f6rne\u011fin
\n TametheBot’un robots.txt test arac\u0131<\/a>
\n ve robots.txt ayr\u0131\u015ft\u0131r\u0131c\u0131s\u0131<\/a> gibi ara\u00e7lar a\u00e7\u0131k kaynakl\u0131 robots.txt ayr\u0131\u015ft\u0131r\u0131c\u0131 k\u00fct\u00fcphanesini<\/a>.\n<\/p>\n

\n kullanmaktad\u0131r. robots.txt hakk\u0131nda herhangi bir sorunuz varsa, bizi LinkedIn<\/a>
\n \u00fczerinden bulabilir veya topluluk forumlar\u0131m\u0131zda<\/a>.\n<\/p>\n

Yazan: Martin Splitt<\/a>
\n ve John Mueller<\/a>, Arama ili\u015fkileri ekibi<\/p>\n

\n

Robots Refresher serisinin geri kalan\u0131na g\u00f6z at\u0131n:<\/h2>\n","protected":false},"excerpt":{"rendered":"

7 Mart 2025, Cuma Web sitesi sahipleri i\u00e7in uzun s\u00fcredir kullan\u0131lan bir ara\u00e7 olan robots.txt, 30 y\u0131l\u0131 a\u015fk\u0131n s\u00fcredir aktif olarak kullan\u0131lmaktad\u0131r ve taray\u0131c\u0131 operat\u00f6rleri (site sahipleri i\u00e7in ara\u00e7lar, hizmetler ve arama motorlar\u0131 gibi) taraf\u0131ndan geni\u015f \u00e7apta desteklenmektedir. Robots Refresher serimizin bu b\u00f6l\u00fcm\u00fcnde, robots refresher serisi, robots.txt’yi robotlara web sitenizde ne yapmalar\u0131n\u0131 (veya yapmamalar\u0131n\u0131) s\u00f6ylemenin […]<\/p>\n","protected":false},"menu_order":79846,"template":"","meta":{"footnotes":""},"ar_kb_kategori":[665],"ar_kb_etiket":[],"class_list":["post-25345","ar_kb","type-ar_kb","status-publish","has-post-thumbnail","hentry","ar_kb_kategori-blog"],"_links":{"self":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25345","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb"}],"about":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/types\/ar_kb"}],"version-history":[{"count":0,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb\/25345\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media\/27465"}],"wp:attachment":[{"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/media?parent=25345"}],"wp:term":[{"taxonomy":"ar_kb_kategori","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_kategori?post=25345"},{"taxonomy":"ar_kb_etiket","embeddable":true,"href":"https:\/\/alienroad.com\/wp-json\/wp\/v2\/ar_kb_etiket?post=25345"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}