27 Mart 2008, Perşembe
Hepimiz Googlebot’un ne kadar dost canlısı olduğunu biliyoruz. Tüm iyi niyetli robotlar gibi Googlebot da bizi dinler ve sitemizin taranmasını istemediğimiz bölümleriyle ilgili isteklerimize saygı duyar. Googlebot’a ne istediğimizi açıklayan bir robots.txt dosyası vermemiz yeterlidir; o da bunu memnuniyetle yerine getirecektir. Peki ya doğrudan Googlebot ile iletişim kurma fikri sizi ürkütüyorsa? Sonuçta hepimiz robots.txt dilini akıcı bir şekilde konuşamıyoruz. İşte bu yüzden sizi kişisel robot tercümanınızla tanıştırmaktan mutluluk duyuyoruz: Webmaster Tools içindeki Robots.txt Oluşturucu. Bu araç, robots.txt dosyanızı oluşturmanız için size kolay ve etkileşimli bir yol sunmak üzere tasarlandı. Hiçbir robotun taramasını istemediğiniz dosya ve dizinleri girmeniz kadar basit olabilir.
Veya ihtiyacınız varsa, belirli robotlar ve sitenizin alanları için daha detaylı kurallar oluşturabilirsiniz.
Oluşturucu ile işiniz bittiğinde, yeni robots.txt dosyanızın etkilerini robots.txt analiz aracımız ile test edebilirsiniz. İşlemi tamamladığınızda, oluşturulan dosyayı sitenizin en üst düzey (kök) dizinine kaydetmeniz yeterlidir; artık hazırsınız. Robots.txt dosyaları hakkında akılda tutulması gereken birkaç önemli nokta vardır:
- Her arama motoru, robots.txt dosyalarına yapılan her uzantıyı desteklemeyebilir
Robots.txt Oluşturucu, Googlebot’un anlayacağı dosyalar oluşturur ve diğer çoğu büyük robot da bunları anlayacaktır. Ancak bazı robotların, oluşturucunun kullandığı tüm robots.txt özelliklerini anlamaması mümkündür. - Robots.txt sadece bir istektir
Büyük bir arama motorundan beklenmesi pek olası olmasa da, robots.txt içeriğini görmezden gelip engellenen alanları yine de tarayabilen bazı kötü niyetli robotlar vardır. Tamamen korumanız gereken hassas içerikleriniz varsa, robots.txt dosyasına güvenmek yerine bunları parola koruması altına almalısınız.
Bu yeni aracın, isteklerinizi Googlebot’a ve sitenizi ziyaret eden diğer robotlara iletmenize yardımcı olacağını umuyoruz. Robots.txt dosyaları hakkında daha fazla bilgi edinmek isterseniz Yardım Merkezimize göz atın. Robots.txt ve robotlar hakkında diğer web yöneticileriyle tartışmak isterseniz, Google Webmaster Yardım Grubumuzu ziyaret edin.
Biz bunu nasıl uyguluyoruz
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
İlgili hizmetler