Googlebot haqqında hər şey

Şənbə, 19 Avqust 2006

Son vaxtlar robots.txt faylları və Googlebot-un davranışı ilə bağlı çoxlu suallar görmüşəm. Keçən həftə SES-də mən
Bot İtaəti kursuadlı yeni paneldə çıxış etdim. Və bir neçə gün əvvəl başqa Google əməkdaşları və mən
WebmasterWorld forumlarındaverilən sualları cavablandırdıq. Aldığımız suallardan bəziləri bunlardır:

Saytım texniki qulluq üçün bağlıdırsa, Googlebot-a “texniki qulluq üçün bağlıdır” səhifəsini indeksləşdirmək əvəzinə daha sonra geri qayıtmağı necə deyə bilərəm?
Serverinizi
200 (uğurlu) əvəzinə
503 (şəbəkə əlçatmazdır) statusu qaytaracaq şəkildə konfiqurasiya etməlisiniz. Bu, Googlebot-a səhifələrə daha sonra yenidən baxmağa çalışmalı olduğunu bildirir.Googlebot saytımı həddən artıq çox tarayırsa, nə etməliyəm?

Bizimlə əlaqə saxlaya bilərsiniz — serverinizin ötürmə qabiliyyətini həddən artıq yükləmədiyimizə əmin olmaq üçün sizinlə birlikdə işləyəcəyik. Veb ustası Alətlərimizdə tarama sürətinizlə bağlı rəy bildirməniz üçün bir xüsusiyyəti sınaqdan keçiririk və indiyə qədər əla rəylər almışıq, ona görə də ümid edirik ki, onu tezliklə hər kəsə təqdim edəcəyik.
İstifadə etmək daha yaxşıdır
robots

meta teqini, yoxsa robots.txt faylını? Googlebot hər ikisinə əməl edir, lakin meta teqləri yalnız tək səhifələrə şamil edilir. Taramadan kənarlaşdırmaq istədiyiniz bir neçə səhifə varsa, həmin səhifələri bloklamaq üçün robots.txt faylından asanlıqla istifadə edə biləcəyiniz şəkildə saytınızı qurula bilərsiniz (məsələn, səhifələri tək bir qovluqda yerləşdirin).
Robots.txt faylımda bütün botlar üçün qayda, eləcə də Googlebot üçün xüsusi qayda varsa, Googlebot bütün botlara ünvanlanmış sətri necə şərh edir? Robots.txt faylınızda qlobal qayda plus xüsusi olaraq Googlebot üçün qayda varsa, Googlebot birbaşa ona yönəldilmiş sətirlərə əməl edir. Məsələn, bu robots.txt faylı üçün:

Googlebot cgi-bin qovluğundakı səhifələrdən başqa saytdakı hər şeyi tarayacaq.
Bu robots.txt faylı üçün:

Googlebot saytın heç bir səhifəsini taramayacaq.

Googlebot-un robots.txt faylınızı necə şərh edəcəyindən əmin deyilsinizsə, onu sınaqdan keçirmək üçün

robots.txt təhlil alətimizdən

istifadə edə bilərsiniz. Siz həmçinin Googlebot-un fayldakı dəyişiklikləri necə şərh edəcəyini də yoxlaya bilərsiniz.
Googlebot və Google-un digər istifadəçi agentlərinin robots.txt fayllarına necə yanaşdığı haqqında ətraflı məlumat üçün
veb ustası yardım mərkəzimizə

baxın Googlebot haqqında hər şey | Alien Road.