Yeni robots.txt özelliği ve REP Meta Etiketleri

15 Ağustos 2007, Çarşamba

Webmaster Central’ın robots.txt analiz aracını, Sitemap bildirimlerini ve göreceli URL’leri tanıyacak şekilde geliştirdik. Aracın önceki sürümleri Sitemap’lerden haberdar değildi ve yalnızca mutlak URL’leri anlıyordu; diğer her şey Sözdizimi anlaşılamadı olarak raporlanıyordu. Geliştirilmiş sürüm artık Sitemap’inizin URL’sinin ve kapsamının geçerli olup olmadığını size bildiriyor. Ayrıca çok daha az yazarak göreceli URL’lere karşı test yapabilirsiniz.

Raporlama da artık daha iyi. Önceki sürümler yalnızca karşılaşılan ilk sorunu bildirirken, artık varsa satır başına birden fazla sorun hakkında bilgilendirileceksiniz. Ayrıca analiz ve doğrulama süreçlerinde başka genel iyileştirmeler de yaptık.

www.example.com alan adından sorumlu olduğunuzu ve arama motorlarının /images klasörünüz hariç sitenizdeki her şeyi dizine eklemesini istediğinizi hayal edin. Ayrıca Sitemap’inizin fark edildiğinden emin olmak istiyorsunuz, bu yüzden aşağıdakileri robots.txt dosyanız olarak kaydediyorsunuz:

Sitenizi robots.txt analiz aracında test etmek için Webmaster Central’ı ziyaret ediyor ve şu iki test URL’sini kullanıyorsunuz:

Aracın önceki sürümleri bunu şu şekilde raporlardı:

Geliştirilmiş sürüm size bu robots.txt dosyası hakkında daha fazla bilgi veriyor:

Kendiniz görmek için: https://www.google.com/webmasters/tools.

Ayrıca, birkaç hafta önce Dan Crow tarafından Resmi Google Blogu‘nda duyurulan yeni unavailable_after meta etiketinden haberdar olduğunuzdan emin olmak istiyoruz. Bu, siteniz ile Googlebot arasında daha dinamik bir ilişkiye olanak tanır. Düşünün; www.example.com ile geçici olarak erişilebilir bir haber içeriğiniz, sınırlı süreli bir indiriminiz veya promosyon sayfanız olduğunda, belirli sayfaların taranmasının ve dizine eklenmesinin durdurulmasını istediğiniz tam tarih ve saati belirleyebilirsiniz.

2007 sonunda sona eren bir promosyon yürüttüğünüzü varsayalım. www.example.com/2007promotion.html sayfasının başlıklarında aşağıdakileri kullanırsınız:

İkinci heyecan verici haber: HTML olmayan sayfalar için Robots Exclusion Protocol (REP) meta etiketi desteği ekleyen yeni X-Robots-Tag kuralı! Nihayet videolarınız, elektronik tablolarınız ve diğer dizine eklenen dosya türleriniz üzerinde aynı kontrole sahip olabilirsiniz. Yukarıdaki örneği kullanarak, promosyon sayfanızın PDF formatında olduğunu varsayalım. www.example.com/2007promotion.pdf için aşağıdakileri kullanırsınız:

Unutmayın, REP meta etiketleri; alan adı kökünden kontrol edilen robots.txt’nin aksine, sayfa düzeyinde talimatlar için noarchive, nosnippet ve artık unavailable_after etiketlerini uygulamak için yararlı olabilir. Blog yazarlarından ve web yöneticilerinden bu özellikler için talepler alıyoruz, bu yüzden keyfini çıkarın. Başka önerileriniz varsa, göndermeye devam edin. Başka sorularınız mı var? Lütfen bunları Webmaster Yardım Grubu‘nda sorun.

Yazan: John Blackburn, Webmaster Tools ve Matt Dougherty, Arama Kalitesi