Robotların dilində danışmaq

27 mart 2008-ci il, Cümə axşamı

Hamımız bilirik
Googlebot-un nə qədər dostcanlı olduğunu.
Və bütün xeyirxah robotlar kimi, Googlebot da bizi dinləyir və saytımızın taramaq istəmədiyimiz hissələri ilə bağlı istəklərimizə hörmətlə yanaşır. Biz sadəcə Googlebot-a istədiklərimizi izah edən robots.txt faylı verə bilərik və o, məmnuniyyətlə əməl edəcək. Bəs əgər Googlebot ilə birbaşa ünsiyyət qurmaq fikri sizi qorxudursa? Axı hamımız dilində səlis danışmırıq
robots.txt. Məhz buna görə də sizi şəxsi robot tərcüməçinizlə tanış etməkdən məmnunuq:
Webmaster Tools daxilindəki Robots.txt Generator
Webmaster Tools.
O, sizə robots.txt faylı yaratmaq üçün asan və interaktiv üsul təqdim etmək üçün nəzərdə tutulmuşdur. Bu, heç bir robot tərəfindən taramaq istəmədiyiniz faylları və kataloqları daxil etmək qədər sadə ola bilər.

Yaxud, lazım gələrsə, müəyyən robotlar və saytınızın sahələri üçün incə tənzimlənmiş qaydalar yarada bilərsiniz.

Generatorla işi bitirdikdən sonra, yeni robots.txt faylınızın təsirlərini bizim
robots.txt analitika alətiilə yoxlaya bilərsiniz.
Bitirdikdən sonra, yaradılmış faylı sadəcə saytınızın ən yuxarı səviyyəli (kök) kataloquna yadda saxlayın və işiniz bitdi. Robots.txt faylları haqqında yadda saxlamaq lazımdır ki, bir neçə vacib məqam var:

• Hər bir axtarış sistemi robots.txt fayllarının hər bir uzantısını dəstəkləməyəcək
  Robots.txt Generator Googlebot-un başa düşəcəyi fayllar yaradır və digər əsas robotların əksəriyyəti də onları başa düşəcək. Lakin ola bilər ki, bəzi robotlar generatorun istifadə etdiyi bütün robots.txt funksiyalarını başa düşməsin.
• Robots.txt sadəcə bir sorğudur
  Böyük axtarış sistemindən ola biləcək qədər ehtimal olunmasa da, robots.txt-in məzmununa məhəl qoymayan və bloklanmış əraziləri yenə də tarayan bəzi vicdansız robotlar mövcuddur. Tamamilə qorumaq lazım olan həssas məzmununuz varsa, onu robots.txt-ə güvənməkdənsə, parol qorunması arxasında qoymalısınız.

Ümid edirik ki, bu yeni alət Googlebot və saytınıza baş çəkən digər robotlarla istəklərinizi çatdırmağa kömək edəcək. Robots.txt faylları haqqında daha çox öyrənmək istəyirsinizsə, nəzərdən keçirin
Mərkəzi Köməkliyimiz. Və əgər digər veb-ustalarla robots.txt və robotları müzakirə etmək istəyirsinizsə, ziyarət edin
Google Veb-usta Kömək Qrupu.

Sean Harding, Veb-usta Alətləri Komandası tərəfindən yazılmışdır