Googlebot Hakkında Her Şey

19 Ağustos 2006, Cumartesi

Son zamanlarda robots.txt dosyaları ve Googlebot’un davranışları hakkında çok fazla soru görüyorum. Geçen hafta
SES’te,
Bot İtaati kursu adlı yeni bir panelde konuştum.
Birkaç gün önce de diğer bazı Google çalışanlarıyla birlikte
WebmasterWorld forumlarında gelen soruları yanıtladık.
İşte aldığımız sorulardan bazıları:

Sitem bakım nedeniyle kapalıysa, Googlebot’a “bakım için kapalı” sayfasını indekslemek yerine daha sonra gelmesini nasıl söyleyebilirim?
Sunucunuzu, 200 (başarılı) yerine
durum kodu olarak
503 (ağ kullanılamıyor) döndürecek şekilde yapılandırmalısınız. Bu, Googlebot’un sayfaları daha sonra tekrar denemesi gerektiğini bilmesini sağlar.

Googlebot sitemi çok fazla tarıyorsa ne yapmalıyım?
Bizimle iletişime geçebilirsiniz
—sunucunuzun bant genişliğini zorlamadığımızdan emin olmak için sizinle birlikte çalışırız. Webmaster Araçları’nda tarama hızınız hakkında girdi sağlamanıza olanak tanıyan bir özellik üzerinde denemeler yapıyoruz ve şimdiye kadar harika geri bildirimler aldık, bu yüzden yakında bunu herkese sunmayı umuyoruz.

robots meta etiketini mi yoksa robots.txt dosyasını mı kullanmak daha iyidir? Googlebot her ikisine de uyar, ancak
meta etiketleri yalnızca tek sayfalar için geçerlidir. Taramadan hariç tutmak istediğiniz çok sayıda sayfanız varsa, sitenizi bu sayfaları kolayca engellemek için bir robots.txt dosyası kullanabileceğiniz şekilde yapılandırabilirsiniz (örneğin, sayfaları tek bir dizine koyun).

Robots.txt dosyamda tüm botlar için bir kuralın yanı sıra Googlebot için özel bir kural varsa, Googlebot tüm botlara yönelik satırı nasıl yorumlar?
Robots.txt dosyanızda genel bir kural ve Googlebot’a özel bir kural varsa, Googlebot doğrudan kendisine yönelik satırlara uyar. Örneğin, şu robots.txt dosyası için:

Googlebot, cgi-bin dizinindeki sayfalar dışında sitedeki her şeyi tarayacaktır.

Şu robots.txt dosyası için:

Googlebot sitenin hiçbir sayfasını taramayacaktır.

Googlebot’un robots.txt dosyanızı nasıl yorumlayacağından emin değilseniz, test etmek için
robots.txt analiz aracımızı
kullanabilirsiniz. Ayrıca Googlebot’un dosyadaki değişiklikleri nasıl yorumlayacağını da test edebilirsiniz.

Googlebot ve Google’ın diğer kullanıcı aracılarının robots.txt dosyalarına nasıl davrandığı hakkında tam bilgi için
web yöneticisi yardım merkezimize bakın.