{"id":23827,"date":"2006-09-19T00:00:00","date_gmt":"2006-09-19T00:00:00","guid":{"rendered":"https:\/\/alienroad.com\/google-bilgi-bankasi\/debugging-blocked-urls\/"},"modified":"2006-09-19T00:00:00","modified_gmt":"2006-09-19T00:00:00","slug":"debugging-blocked-urls","status":"publish","type":"ar_kb","link":"https:\/\/alienroad.com\/google-bilgi-bankasi\/debugging-blocked-urls\/","title":{"rendered":"Engellenen URL'lerin hata ay\u0131klamas\u0131"},"content":{"rendered":"

19 Eyl\u00fcl 2006, Sal\u0131<\/p>\n

\n Vanessa son zamanlarda \u00e7ok fazla payla\u015f\u0131m yap\u0131yor ve kendimi d\u0131\u015flanm\u0131\u015f hissetmeye ba\u015flad\u0131m. Bu y\u00fczden i\u015fte size k\u00fc\u00e7\u00fck bir tavsiyem: Birka\u00e7 web y\u00f6neticisinin “robots.txt taraf\u0131ndan engellendi<\/a>” hatalar\u0131yla kafas\u0131n\u0131n kar\u0131\u015ft\u0131\u011f\u0131n\u0131 fark ettim ve robots.txt<\/a> sorunlar\u0131n\u0131 giderirken izledi\u011fim ad\u0131mlar\u0131 payla\u015fmak istedim:\n<\/p>\n

Engellenen bir URL’de hata ay\u0131klamak i\u00e7in kullan\u0131\u015fl\u0131 bir kontrol listesi<\/h2>\n

\n Web siteniz i\u00e7in tarama hatalar\u0131na bakt\u0131\u011f\u0131n\u0131z\u0131 ve robots.txt taraf\u0131ndan engellenen, ancak engellemeyi ama\u00e7lamad\u0131\u011f\u0131n\u0131z bir URL fark etti\u011finizi varsayal\u0131m:\n<\/p>\n

<\/div>\n

robots.txt analiz arac\u0131n\u0131 kontrol edin<\/h2>\n

\n Yapman\u0131z gereken ilk \u015fey, ilgili site i\u00e7in robots.txt analiz arac\u0131na<\/a> gitmektir. Do\u011fru protokol ve alt alan ad\u0131na dikkat ederek, s\u00f6z konusu URL i\u00e7in do\u011fru siteye bakt\u0131\u011f\u0131n\u0131zdan emin olun. (Alt alan adlar\u0131 ve protokollerin kendi robots.txt dosyalar\u0131 olabilir; bu nedenle https:\/\/www.example.com\/robots.txt<\/code> dosyas\u0131, https:\/\/example.com\/robots.txt<\/code> veya https:\/\/amanda.example.com\/robots.txt<\/code> dosyas\u0131ndan farkl\u0131 olabilir.) Engellenen URL’yi “Test URLs against this robots.txt file” (URL’leri bu robots.txt dosyas\u0131na g\u00f6re test et) kutusuna yap\u0131\u015ft\u0131r\u0131n. Ara\u00e7 engellendi\u011fini bildiriyorsa sorununuzu buldunuz demektir. E\u011fer ara\u00e7 izin verildi\u011fini bildiriyorsa, daha derinlemesine incelememiz gerekir.\n<\/p>\n

\n robots.txt analiz arac\u0131n\u0131n \u00fcst k\u0131sm\u0131ndaki HTTP durum koduna<\/a> bir g\u00f6z at\u0131n. E\u011fer 200 (Ba\u015far\u0131l\u0131)<\/code> veya 404 (Bulunamad\u0131)<\/code> d\u0131\u015f\u0131nda bir rapor veriyorsak, robots.txt dosyan\u0131za eri\u015femiyor olabiliriz ve bu da tarama s\u00fcrecimizi durdurur. (robots.txt dosyan\u0131z\u0131 en son ne zaman indirdi\u011fimizi bu arac\u0131n \u00fcst k\u0131sm\u0131nda g\u00f6rebilece\u011finizi unutmay\u0131n. Dosyan\u0131zda de\u011fi\u015fiklik yaparsan\u0131z, de\u011fi\u015fikliklerinizin son indirmemizden sonra yap\u0131l\u0131p yap\u0131lmad\u0131\u011f\u0131n\u0131 g\u00f6rmek i\u00e7in bu tarih ve saate bak\u0131n.)\n<\/p>\n

robots.txt dosyan\u0131zdaki de\u011fi\u015fiklikleri kontrol edin<\/h2>\n

\n Bunlar d\u00fczg\u00fcn g\u00f6r\u00fcn\u00fcyorsa, robots.txt dosyan\u0131z\u0131n son de\u011fi\u015ftirilme tarihini kontrol ederek hata olu\u015ftuktan sonra dosyan\u0131z\u0131n de\u011fi\u015fip de\u011fi\u015fmedi\u011fine bakmak isteyebilirsiniz. E\u011fer hata, tarama hatalar\u0131 sayfas\u0131nda belirtilen tarihten sonra de\u011fi\u015ftirilmi\u015fse, birisi dosyay\u0131 yeni s\u00fcr\u00fcm art\u0131k bu URL’yi engellemeyecek \u015fekilde de\u011fi\u015ftirmi\u015f olabilir.\n<\/p>\n

URL y\u00f6nlendirmelerini kontrol edin<\/h2>\n

\n Bu URL’nin engellenmedi\u011finden eminseniz, URL’nin ba\u015fka bir sayfaya y\u00f6nlendirilip y\u00f6nlendirilmedi\u011fini kontrol edin. Googlebot bir URL’yi getirdi\u011finde, URL’ye eri\u015fim izni olup olmad\u0131\u011f\u0131n\u0131 do\u011frulamak i\u00e7in robots.txt dosyas\u0131n\u0131 kontrol eder. E\u011fer robots.txt dosyas\u0131 URL’ye eri\u015fime izin veriyor ancak URL bir y\u00f6nlendirme d\u00f6nd\u00fcr\u00fcyorsa, Googlebot hedef URL’nin eri\u015filebilir olup olmad\u0131\u011f\u0131n\u0131 g\u00f6rmek i\u00e7in robots.txt dosyas\u0131n\u0131 tekrar kontrol eder. Googlebot herhangi bir noktada engellenmi\u015f bir URL’ye y\u00f6nlendirilirse, orijinal URL’nin i\u00e7eri\u011fini robots.txt taraf\u0131ndan engellendi\u011fi i\u00e7in alamad\u0131\u011f\u0131n\u0131 rapor eder.\n<\/p>\n

\n Bazen bu davran\u0131\u015f\u0131 tespit etmek kolayd\u0131r \u00e7\u00fcnk\u00fc belirli bir URL her zaman bir ba\u015fkas\u0131na y\u00f6nlendirilir. Ancak bazen bunu \u00e7\u00f6zmek zor olabilir. \u00d6rne\u011fin:\n<\/p>\n