robots.txt dosyalarını test etmek artık çok daha kolay

16 Temmuz 2014, Çarşamba

Taramak ya da taramamak, işte bütün mesele robots.txt’de.

Doğru robots.txt dosyaları oluşturmak ve bunları sürdürmek bazen zor olabilir. Çoğu site için bu işlem kolay olsa da (ipucu: genellikle bir robots.txt dosyasına ihtiyaçları bile yoktur!), büyük bir robots.txt dosyası içinde belirli URL’leri engelleyen kuralları bulmak oldukça karmaşık olabilir. Bunu kolaylaştırmak için, Webmaster Tools’daki güncellenmiş robots.txt test aracını duyuruyoruz.

Güncellenmiş test aracını Webmaster Tools içindeki Tarama bölümünde bulabilirsiniz:

Burada mevcut robots.txt dosyanızı görecek ve yeni URL’lerin taranıp taranmadığını test edebileceksiniz. Karmaşık kurallar arasında yolunuzu bulmanıza yardımcı olması için, nihai karara yol açan spesifik kural vurgulanacaktır. Dosya üzerinde değişiklik yapıp bunları da test edebilirsiniz; ancak değişikliklerin geçerli olması için daha sonra dosyanın yeni sürümünü sunucunuza yüklemeniz gerekecektir. Geliştirici sitemizde robots.txt kuralları ve dosyaların nasıl işlendiği hakkında daha fazla bilgi bulunmaktadır.

Ayrıca, robots.txt dosyanızın eski sürümlerini inceleyebilecek ve erişim sorunlarının bizi taramadan alıkoyduğu durumları görebileceksiniz. Örneğin, Googlebot robots.txt dosyası için 500 sunucu hatası görürse, genellikle web sitesinin taranmasını duraklatırız.

Mevcut siteleriniz için bazı hatalar veya uyarılar gösterilebileceğinden, robots.txt dosyalarını tekrar kontrol etmenizi öneririz. Ayrıca bunu Webmaster Tools’un diğer bölümleriyle birleştirebilirsiniz: örneğin, web sitenizdeki önemli sayfaları oluşturmak için güncellenmiş Google gibi getir aracını kullanabilirsiniz. Engellenen URL’ler raporlanırsa, bu robots.txt test aracını kullanarak onları engelleyen kuralı bulabilir ve elbette ardından iyileştirebilirsiniz. Sık karşılaştığımız bir sorun, CSS, JavaScript veya mobil içeriği engelleyen eski robots.txt dosyalarından kaynaklanıyor; bunu görmek genellikle sorunu çözmeyi kolaylaştırır.

Bu güncellenmiş aracın robots.txt dosyanızı test etmenizi ve bakımını yapmanızı kolaylaştıracağını umuyoruz. Herhangi bir sorunuz olursa veya iyi bir kural seti oluşturma konusunda yardıma ihtiyacınız olursa, web yöneticisi yardım forumumuza uğrayabilirsiniz!

Yazan: Asaph Arnon, Webmaster Tools ekibi