20 sentyabr 2006-cı il, Çərşənbə

axtarış sistemlərinin botun həqiqi olduğunu bilmək üçün bir yol təqdim etməsini istədiyini eşitmişəm. Axı, istənilən spammer öz botunu “Googlebot” adlandıra bilər və Google olduğunu iddia edə bilər, bəs hansı botlara etibar edirsiniz və hansılarını bloklayırsınız?

Eşitdiyimiz ümumi tələb Googlebot IP ünvanlarının siyahısını hansısa ictimai yerdə yerləşdirməkdir. Bununla bağlı problem odur ki, kəşfçilərimizin IP diapazonları dəyişdikdə/dəyişəndə hər kəs yoxlamağı bilməyəcək. Əslində, kəşfiyyat qrupu bir neçə il əvvəl Googlebot IP-lərini köçürdü və IP diapazonunu sərt şəkildə kodlaşdırmış veb-ustaları xəbərdar etmək əsl əziyyət idi. Beləliklə, kəşfiyyat işçiləri Googlebot-u autentifikasiya etmək üçün başqa bir yol təmin etdilər. Budur, kəşfiyyat işçilərindən birinin cavabı (onların icazəsi ilə sitat gətirilir):
Veb-ustalara hər bir hal üzrə yoxlamaq üçün DNS-dən istifadə etməyi söyləmək getməyin ən yaxşı yolu görünür. Düşünürəm ki, tövsiyə olunan texnika əks DNS axtarışı aparmaq, adın googlebot.com domenində olduğunu yoxlamaq və sonra həmin googlebot.com adından istifadə edərək müvafiq irəli DNS->IP axtarışı həyata keçirmək olardı. Məsələn: Mən sadəcə olaraq əks DNS axtarışı aparmağın kifayət olduğunu düşünmürəm, ஏnkəl spoofer əks DNS-i yönləndirmək üçün təyin edə bilər

crawl-a-b-c-d.googlebot.com

Bu cavab həmçinin yardım masamıza da təqdim edilmişdir, ona görə də mən bunu Googlebot-u autentifikasiya etmək üçün rəsmi üsul hesab edərdim. “Rəsmi” Googlebot IP diapazonundan əldə etmək üçün bot Google-un sizi çox sıxışdırmaması üçün robots.txt-yə və daxili xost-yük konvensiyalarına hörmət etməlidir.

(Kəşfiyyat tərəfindən bu cavaba görə N. və J.-ə təşəkkürlər.) Googlebot necə təsdiqlənir | Alien Road.

Son vaxtlar bir neçə ağıllı insanın axtarış sistemlərinin botun həqiqi olduğunu bilmək üçün bir yol təqdim etməsini istədiyini eşitmişəm.

devesi