2 Temmuz 2019, Sal\u0131<\/p>\n
\n D\u00fcn, Google’\u0131n \u00fcretim robots.txt ayr\u0131\u015ft\u0131r\u0131c\u0131s\u0131n\u0131 \n D\u00fcn yay\u0131nlad\u0131\u011f\u0131m\u0131z<\/a> internet tasla\u011f\u0131, standart kapsam\u0131nda olmayan kurallar i\u00e7in geni\u015fletilebilir bir mimari sunuyor. Bu, bir taray\u0131c\u0131n\u0131n kendi sat\u0131r\u0131n\u0131 desteklemek istemesi durumunda \n dahil ettik. Ayr\u0131\u015ft\u0131r\u0131c\u0131 k\u00fct\u00fcphanemizi a\u00e7\u0131k kaynakl\u0131 hale getirirken, robots.txt kurallar\u0131n\u0131n kullan\u0131m\u0131n\u0131 analiz ettik. \u00d6zellikle, internet tasla\u011f\u0131 taraf\u0131ndan desteklenmeyen kurallara odakland\u0131k, \u00f6rne\u011fin \n Sa\u011fl\u0131kl\u0131 bir ekosistemi korumak ve gelecekteki potansiyel a\u00e7\u0131k kaynak s\u00fcr\u00fcmlerine haz\u0131rlanmak ad\u0131na, desteklenmeyen ve yay\u0131nlanmam\u0131\u015f kurallar\u0131 (\u00f6rne\u011fin \n Google arama sonu\u00e7lar\u0131ndan bilgilerin nas\u0131l kald\u0131r\u0131laca\u011f\u0131 hakk\u0131nda daha fazla rehberlik i\u00e7in
\n a\u00e7\u0131k kaynakl\u0131 hale getirdi\u011fimizi duyurduk<\/a>.
\n Gelecekteki potansiyel Arama a\u00e7\u0131k kaynak projelerinin \u00f6n\u00fcn\u00fc a\u00e7an heyecan verici bir and\u0131! Geri bildirimler faydal\u0131d\u0131r ve
\n geli\u015ftiricilerden<\/a> ve
\n web y\u00f6neticilerinden<\/a> gelen sorular\u0131 hevesle topluyoruz. Bu yaz\u0131da ele alaca\u011f\u0131m\u0131z bir soru \u00f6ne \u00e7\u0131kt\u0131:
\n
\n Neden crawl-delay gibi di\u011fer kurallar i\u00e7in bir kod i\u015fleyici koda dahil edilmedi?\n <\/p>\nunicorns: allowed<\/code>, bunu yapabilece\u011fi anlam\u0131na gelir. Bunun bir ayr\u0131\u015ft\u0131r\u0131c\u0131da nas\u0131l g\u00f6r\u00fcnece\u011fini g\u00f6stermek i\u00e7in, \u00e7ok yayg\u0131n bir sat\u0131r olan sitemap’i a\u00e7\u0131k kaynakl\u0131 robots.txt ayr\u0131\u015ft\u0131r\u0131c\u0131m\u0131za<\/a>.\n <\/p>\n
\n crawl-delay<\/code>, nofollow<\/code>, ve
\n noindex<\/code>. Bu kurallar Google taraf\u0131ndan hi\u00e7bir zaman belgelenmedi\u011finden, Googlebot ile ili\u015fkili kullan\u0131mlar\u0131 do\u011fal olarak \u00e7ok d\u00fc\u015f\u00fckt\u00fcr. Daha derinlemesine inceledi\u011fimizde, kullan\u0131mlar\u0131n\u0131n internetteki t\u00fcm robots.txt dosyalar\u0131n\u0131n %0,001’i hari\u00e7 hepsinde di\u011fer kurallarla \u00e7eli\u015fti\u011fini g\u00f6rd\u00fck. Bu hatalar, web sitelerinin Google arama sonu\u00e7lar\u0131ndaki varl\u0131\u011f\u0131na web y\u00f6neticilerinin ama\u00e7lamad\u0131\u011f\u0131n\u0131 d\u00fc\u015f\u00fcnd\u00fc\u011f\u00fcm\u00fcz \u015fekillerde zarar veriyor.\n <\/p>\n
\n noindex<\/code>) i\u015fleyen t\u00fcm kodlar\u0131 1 Eyl\u00fcl 2019 itibar\u0131yla kullan\u0131mdan kald\u0131r\u0131yoruz. Tarama i\u015flemini kontrol eden
\n noindex<\/code> dizin olu\u015fturma kural\u0131na
\n robots.txt<\/code> dosyas\u0131nda g\u00fcvenenleriniz i\u00e7in bir dizi alternatif se\u00e7enek mevcuttur:\n <\/p>\n\n
noindex<\/code><\/a>
\n i\u00e7inde robots<\/span> meta<\/code> etiketleri:<\/b> Hem HTTP yan\u0131t ba\u015fl\u0131klar\u0131nda hem de HTML’de desteklenen
\n noindex<\/code> kural\u0131, taramaya izin verildi\u011finde URL’leri dizinden kald\u0131rman\u0131n en etkili yoludur.\n <\/li>\n404<\/code> ve 410<\/code> HTTP durum kodlar\u0131<\/a>:<\/b>
\n Her iki durum kodu da sayfan\u0131n mevcut olmad\u0131\u011f\u0131 anlam\u0131na gelir; bu, s\u00f6z konusu URL’ler tarand\u0131\u011f\u0131nda ve i\u015flendi\u011finde Google’\u0131n dizininden d\u00fc\u015fmelerini sa\u011flayacakt\u0131r.\n <\/li>\n
\n abonelik veya \u00f6deme duvar\u0131 arkas\u0131ndaki i\u00e7erik<\/a>belirtmek i\u00e7in kullan\u0131lmad\u0131\u011f\u0131 s\u00fcrece, bir sayfay\u0131 giri\u015fin arkas\u0131na gizlemek genellikle onu Google’\u0131n dizininden kald\u0131racakt\u0131r.\n <\/li>\nDisallow<\/code> i\u00e7inde robots.txt<\/code>:<\/b> Arama motorlar\u0131 yaln\u0131zca bildikleri sayfalar\u0131 dizine ekleyebilir, bu nedenle bir sayfan\u0131n taranmas\u0131n\u0131 engellemek genellikle i\u00e7eri\u011finin dizine eklenmeyece\u011fi anlam\u0131na gelir. Arama motoru bir URL’yi di\u011fer sayfalardan gelen ba\u011flant\u0131lara dayanarak dizine ekleyebilse de, i\u00e7eri\u011fin kendisini g\u00f6rmeden, gelecekte bu t\u00fcr sayfalar\u0131 daha az g\u00f6r\u00fcn\u00fcr k\u0131lmay\u0131 hedefliyoruz.\n <\/li>\n
\n Bu ara\u00e7, bir URL’yi Google arama sonu\u00e7lar\u0131ndan ge\u00e7ici olarak kald\u0131rmak i\u00e7in h\u0131zl\u0131 ve kolay bir y\u00f6ntemdir.\n <\/li>\n<\/ul>\n
\n Yard\u0131m Merkezimizi<\/a>ziyaret edin. Sorular\u0131n\u0131z varsa, bizi Twitter<\/a>
\n \u00fczerinden ve Web Y\u00f6neticisi Toplulu\u011fumuzda<\/a>, hem \u00e7evrimd\u0131\u015f\u0131<\/a> hem de \u00e7evrimi\u00e7i bulabilirsiniz.\n <\/p>\n