Crawl Hataları: Yeni Nesil

12 Mart 2012, Pazartesi

Tarama hataları, Web Yöneticisi Araçları’ndaki en popüler özelliklerden biridir ve bugün, onu daha da kullanışlı hale getirecek çok önemli geliştirmeleri kullanıma sunuyoruz.

Artık birçok yeni hata türünü tespit edip raporluyoruz. Yeni verileri anlamlandırmanıza yardımcı olmak için hataları iki bölüme ayırdık: site hataları ve URL hataları.

Site Hataları

Site hataları, belirli bir URL’ye özgü olmayan, tüm sitenizi etkileyen hatalardır. Bunlar arasında DNS çözümleme hataları, web sunucunuzla ilgili bağlantı sorunları ve robots.txt dosyanızı getirme sorunları yer alır. Eskiden bu hataları URL bazında raporlardık, ancak bunlar bireysel URL’lere özgü olmadıkları için bu pek mantıklı değildi; aslında bu hatalar Googlebot’un bir URL’yi talep etmesini bile engelliyor! Bunun yerine, artık her bir site genelindeki hata türü için hata oranlarını takip ediyoruz. Ayrıca, bu hatalar dikkat gerektirecek kadar sıklaştığında size uyarı göndermeye çalışacağız.

Dahası, birçok sitede olduğu gibi bu alanlarda herhangi bir sorununuz yoksa (ve yakın zamanda yaşamadıysanız), bu bölümle sizi rahatsız etmeyeceğiz. Bunun yerine, her şeyin yolunda olduğunu bilmenizi sağlamak için size bazı dostça onay işaretleri göstereceğiz.

URL hataları

URL hataları, belirli bir sayfaya özgü hatalardır. Bu, Googlebot URL’yi taramaya çalıştığında DNS’inizi çözümleyebildiği, sunucunuza bağlanabildiği, robots.txt dosyanızı getirip okuyabildiği ve ardından bu URL’yi talep edebildiği, ancak sonrasında bir sorun oluştuğu anlamına gelir. URL hatalarını, hataya neyin neden olduğuna bağlı olarak çeşitli kategorilere ayırıyoruz. Siteniz Google Haberler veya mobil (CHTML/XHTML) verileri sunuyorsa, bu hatalar için ayrı kategoriler göstereceğiz.

Az ama öz

Eskiden her türden en fazla 100.000 hata gösteriyorduk. Tüm bu bilgileri tüketmeye çalışmak yangın hortumundan su içmek gibiydi ve bu hatalardan hangilerinin önemli (ana sayfanızın kapalı olması) veya daha az önemli (birinin kişisel sitesinde sitenize verilen bir bağlantıda yazım hatası yapması) olduğunu bilmenin bir yolu yoktu. 100.000 hatanın tamamını görüntülemenin gerçekçi bir yolu yoktu; sıralama, arama veya ilerlemenizi işaretleme imkanı bulunmuyordu. Bu özelliğin yeni sürümünde, size yalnızca en önemli hataları ön planda sunmaya odaklandık. Her kategori için, en önemli ve üzerinde işlem yapılabilir olduğunu düşündüğümüz 1000 hatayı size vereceğiz. Bu ilk 1000 hatayı sıralayabilir, filtreleyebilir, düzelttiğinizi düşündüğünüzde bize bildirebilir ve bunlarla ilgili ayrıntıları görüntüleyebilirsiniz.

Bazı sitelerde belirli bir türden 1000’den fazla hata bulunur, bu nedenle her türden toplam hata sayısını ve 90 güne kadar geçmiş verileri gösteren bir grafiği görmeye devam edebileceksiniz. 1000 hata ayrıntısının ve toplam toplam sayının yeterli olmayacağından endişe edenler için, sahip olduğunuz her bir hatayı indirmenize olanak tanıyacak programatik bir erişim (bir API) eklemeyi düşünüyoruz, bu yüzden daha fazlasına ihtiyacınız varsa lütfen bize geri bildirimde bulunun.

Ayrıca, robots.txt tarafından engellenen sayfaların listesini de kaldırdık; çünkü bunlar bazen robots.txt dosyanızdaki bir sorunu teşhis etmek için yararlı olabilse de, genellikle kasıtlı olarak engellediğiniz sayfalardır. Gerçekten hatalara odaklanmak istedik, bu yüzden roboted URL’lerle ilgili bilgilerin yakında “Site yapılandırması” altındaki “Tarayıcı erişimi” özelliğinde görüneceğini unutmayın.

Ayrıntılara dalın

Ana listeden bireysel bir hata URL’sine tıklamak, URL’yi en son ne zaman taramaya çalıştığımız, sorunu ilk ne zaman fark ettiğimiz ve hatanın kısa bir açıklaması dahil olmak üzere ek bilgiler içeren bir ayrıntı bölmesi açar.

Ayrıntılar bölmesinden, hataya neden olan URL’nin bağlantısına tıklayarak ziyaret etmeye çalıştığınızda ne olduğunu kendiniz görebilirsiniz. Ayrıca hatayı “düzeltildi” olarak işaretleyebilir (bunun hakkında daha sonra konuşacağız!), hata türü için yardım içeriğini görüntüleyebilir, URL’yi içeren Site Haritalarını listeleyebilir, bu URL’ye bağlantı veren diğer sayfaları görebilir ve hatta Googlebot’un daha fazla bilgi almak veya düzeltmenizin işe yaradığını iki kez kontrol etmek için URL’yi hemen getirmesini sağlayabilirsiniz.

Harekete geçin!

Tarama hataları özelliğinin bu yeni sürümünde bizi gerçekten heyecanlandıran bir şey, en önemli olanı düzeltmeye odaklanabilmenizdir. Hataları, öncelik listesinin en üstündekilerin, kendi sitenizdeki bozuk bağlantıları düzeltmek, sunucu yazılımınızdaki hataları gidermek, ölü URL’leri temizlemek için site haritalarınızı güncellemek veya kullanıcıları “gerçek” sayfaya yönlendirmek için bir 301 yönlendirmesi eklemek gibi yapabileceğiniz bir şeyin olduğu hatalar olacak şekilde sıraladık. Bunu, URL’yi bir Site Haritasına dahil edip etmediğiniz, kaç yerden bağlantı verildiği (ve bunlardan herhangi birinin de sitenizde olup olmadığı) ve URL’nin yakın zamanda aramadan trafik alıp almadığı dahil olmak üzere birçok faktöre dayanarak belirliyoruz.

Sorunu çözdüğünüzü düşündüğünüzde (düzeltmenizi URL’yi Googlebot olarak getirerek test edebilirsiniz), tam erişim izinlerine sahip bir kullanıcıysanız hatayı “düzeltildi” olarak işaretleyerek bize bildirebilirsiniz. Bu, hatayı listenizden kaldıracaktır. Gelecekte, bir URL’yi yeniden taramaya çalışırken aynı hatayla karşılaşmadığımız sürece, düzeltildi olarak işaretlediğiniz hatalar en üstteki hatalar listesine dahil edilmeyecektir.

Yeni Tarama hataları özelliği üzerinde çok çalıştık, bu yüzden sizin için çok yararlı olacağını umuyoruz. Ne düşündüğünüzü bize bildirin ve herhangi bir öneriniz varsa lütfen forumumuzu ziyaret edin!

Yazan:
Kurt Dresner,
Web Yöneticisi Araçları ekibi