10 \u015eubat 2006<\/p>\n\n\n\n
\n Haftan\u0131n ba\u015flar\u0131nda, Sitemaps program\u0131 arac\u0131l\u0131\u011f\u0131yla kullan\u0131ma sundu\u011fumuz ve \n bir sitenin robots.txt dosyas\u0131n\u0131 analiz eden<\/a> \u00f6zellikten bahsetmi\u015ftik. \u0130\u015fte bu \u00f6zellik hakk\u0131nda daha fazla detay.\n<\/p>\n\n\n\n \n Sitemaps robots.txt arac\u0131, robots.txt dosyas\u0131n\u0131 Googlebot ile ayn\u0131 \u015fekilde okur. Ara\u00e7 bir sat\u0131r\u0131 s\u00f6zdizimi hatas\u0131 olarak yorumlarsa, Googlebot da o sat\u0131r\u0131 anlamaz. Ara\u00e7 bir URL’nin izin verildi\u011fini g\u00f6steriyorsa, Googlebot da o URL’yi izin verilmi\u015f olarak yorumlar.\n<\/p>\n\n\n\n \n Bu ara\u00e7 yaln\u0131zca Google kullan\u0131c\u0131 arac\u0131lar\u0131 (Googlebot gibi) i\u00e7in sonu\u00e7 sa\u011flar. Di\u011fer botlar robots.txt dosyas\u0131n\u0131 ayn\u0131 \u015fekilde yorumlamayabilir. \u00d6rne\u011fin, Googlebot standard\u0131n geni\u015fletilmi\u015f bir tan\u0131m\u0131n\u0131 destekler. \n Bir robots.txt dosyas\u0131 yaln\u0131zca sitenin k\u00f6k dizininde bulundu\u011funda ge\u00e7erlidir. Bu nedenle, hesab\u0131n\u0131zda bir alt dizinde bulunan bir siteyi inceliyorsan\u0131z (\u00f6rne\u011fin \n Bir dosyaya y\u00f6nlenen bir URL’yi test ederseniz (\u00f6rne\u011fin \u015eu robots.txt dosyas\u0131n\u0131 d\u00fc\u015f\u00fcn\u00fcn:<\/p>\n\n\n\n \n \n Birka\u00e7 farkl\u0131 nedenden dolay\u0131 “s\u00f6zdizimi anla\u015f\u0131lamad\u0131” hatas\u0131 g\u00f6rebilirsiniz. En yayg\u0131n olan\u0131, Googlebot’un sat\u0131r\u0131 ayr\u0131\u015ft\u0131ramamas\u0131d\u0131r. Ancak di\u011fer baz\u0131 olas\u0131 nedenler \u015funlard\u0131r:\n<\/p>\n\n\n\n \n Arac\u0131n b\u00fcy\u00fck\/k\u00fc\u00e7\u00fck harf duyarl\u0131l\u0131\u011f\u0131n\u0131 i\u015fleme bi\u00e7imi ve Googlebot d\u0131\u015f\u0131ndaki Google kullan\u0131c\u0131 arac\u0131lar\u0131yla yap\u0131lan analizler dahil olmak \u00fczere, ara\u00e7la ilgili birka\u00e7 bilinen sorun \u00fczerinde \u00e7al\u0131\u015f\u0131yoruz. Bu sorunlar\u0131 \u00e7\u00f6zd\u00fck\u00e7e sizi bilgilendirmeye devam edece\u011fiz.\n<\/p>\n\n\n\nAnaliz ne anlama geliyor<\/h2>\n\n\n\n
Allow:<\/code> sat\u0131rlar\u0131n\u0131n yan\u0131 s\u0131ra *<\/code> ve $<\/code> karakterlerini de anlar. Bu nedenle, ara\u00e7 bu uzant\u0131lar\u0131 i\u00e7eren sat\u0131rlar\u0131 anla\u015f\u0131lm\u0131\u015f olarak g\u00f6sterse de, bunun yaln\u0131zca Googlebot i\u00e7in ge\u00e7erli oldu\u011funu ve sitenizi tarayabilecek di\u011fer botlar i\u00e7in ge\u00e7erli olmayabilece\u011fini unutmay\u0131n.\n<\/p>\n\n\n\nAlt dizin siteleri<\/h2>\n\n\n\n
https:\/\/www.example.com\/mysite\/<\/code>), size k\u00f6k dizindeki (https:\/\/www.example.com\/robots.txt<\/code>) robots.txt dosyas\u0131 hakk\u0131nda bilgi g\u00f6steririz. Bu dosyaya eri\u015fiminiz olmayabilir, ancak robots.txt dosyas\u0131 alt dizin sitenizin taranmas\u0131n\u0131 etkileyebilece\u011finden ve URL’lere bekledi\u011finiz gibi izin verdi\u011finden emin olmak isteyebilece\u011finizden bunu size g\u00f6steriyoruz.\n<\/p>\n\n\n\nDizinlere eri\u015fimi test etme<\/h2>\n\n\n\n
https:\/\/www.example.com\/myfile.html<\/code>), bu ara\u00e7 robots.txt dosyas\u0131n\u0131n o dosyaya izin verip vermedi\u011fini veya engelleyip engellemedi\u011fini belirleyebilir. Bir dizine y\u00f6nlenen bir URL’yi test ederseniz (\u00f6rne\u011fin https:\/\/www.example.com\/folder1\/<\/code>), bu ara\u00e7 robots.txt dosyas\u0131n\u0131n o URL’ye eri\u015fime izin verip vermedi\u011fini veya engelleyip engellemedi\u011fini belirleyebilir, ancak o klas\u00f6r\u00fcn i\u00e7indeki dosyalara eri\u015fim hakk\u0131nda bilgi veremez. Robots.txt dosyas\u0131, klas\u00f6r\u00fcn i\u00e7indeki URL’ler i\u00e7in klas\u00f6r\u00fcn kendi URL’sinden farkl\u0131 k\u0131s\u0131tlamalar belirlemi\u015f olabilir.\n<\/p>\n\n\n\nhttps:\/\/www.example.com\/folder1\/<\/code> adresini test ederseniz, ara\u00e7 engellendi\u011fini s\u00f6yleyecektir. Ancak https:\/\/www.example.com\/folder1\/myfile.html<\/code> adresini test ederseniz, folder1<\/code> i\u00e7inde yer almas\u0131na ra\u011fmen engellenmedi\u011fini g\u00f6receksiniz.\n<\/p>\n\n\n\nAnla\u015f\u0131lamayan s\u00f6zdizimi<\/h2>\n\n\n\n
\n
200<\/code> durum kodu d\u00f6nd\u00fcr\u00fcyordur. Sunucu bu \u015fekilde yap\u0131land\u0131r\u0131lm\u0131\u015fsa, Googlebot robots.txt dosyas\u0131n\u0131 istedi\u011finde sunucu bir sayfa d\u00f6nd\u00fcr\u00fcr. Ancak bu sayfa asl\u0131nda bir robots.txt dosyas\u0131 de\u011fildir, bu nedenle Googlebot onu i\u015fleyemez.\n <\/li>\n Bilinen sorunlar<\/h2>\n\n\n\n