Googlebot'un taradığı sayfa sayısı

10 Kasım 2006, Cuma

Webmaster Tools içindeki Googlebot etkinlik raporları, Googlebot’un sitenizdeki sayfaların kaçını son 90 gün içinde taradığını gösterir. Bazılarınızın bu sayının neden sitenizdeki toplam sayfa sayısından daha yüksek olabileceğini sorduğunu görüyoruz.

Googlebot sitenizin sayfalarını aşağıdakiler dahil birçok şeye dayanarak tarar:

• zaten bildiği sayfalar
• diğer web sayfalarından gelen bağlantılar (siteniz içindeki ve diğer sitelerdeki)
• Site Haritası dosyanızda listelenen sayfalar

Daha spesifik olmak gerekirse, Googlebot sayfalara değil, URL’lere erişir. Ve aynı sayfaya genellikle birkaç farklı URL üzerinden erişilebilir. Bir sitenin ana sayfasının aşağıdaki dört URL’den erişilebilir olduğunu düşünün:

• https://www.example.com/
• https://www.example.com/index.html
• https://example.com
• https://example.com/index.html

Tüm URL’ler aynı sayfaya yönlendirse de, dört URL’nin tamamı sayfaya giden bağlantılarda kullanılabilir. Googlebot bu bağlantıları takip ettiğinde, etkinlik raporuna dört birimlik bir ekleme yapılır.

Aynı sayfa için birden fazla URL’ye yol açabilecek başka birçok senaryo vardır. Örneğin, bir sayfanın aşağıdakiler gibi birkaç adlandırılmış çapası (anchor) olabilir:

• https://www.example.com/mypage.html#heading1
• https://www.example.com/mypage.html#heading2
• https://www.example.com/mypage.html#heading3

Ve dinamik olarak oluşturulan sayfalara genellikle birden fazla URL ile ulaşılabilir, örneğin:

• https://www.example.com/furniture?type=chair&brand=123
• https://www.example.com/hotbuys?type=chair&brand=123

Gördüğünüz gibi, sitenizdeki her sayfanın ona yönlendiren birden fazla URL’si olabileceğini düşündüğünüzde, Googlebot’un taradığı URL sayısı sitenizdeki toplam sayfa sayısından önemli ölçüde yüksek olabilir.

Elbette, siz (ve biz) arama sonuçlarında URL’nin yalnızca bir sürümünün döndürülmesini istersiniz. Endişelenmeyin; tam olarak olan budur. Algoritmalarımız dahil edilecek bir sürümü seçer ve siz de bu seçim sürecine katkıda bulunabilirsiniz.

URL’nin tercih edilen sürümüne yönlendirme

Bunu 301 (kalıcı) yönlendirme kullanarak yapabilirsiniz. Bir sitenin ana sayfasına işaret eden dört URL’yi gösteren ilk örnekte, index.html’yi www.example.com/ adresine yönlendirmek isteyebilirsiniz. Ayrıca, bir sürümle başlayan tüm URL’lerin diğer sürüme yönlendirilmesi için example.com’u www.example.com’a yönlendirmek isteyebilirsiniz. Bu son yönlendirmeyi Webmaster Tools’daki Tercih Edilen Alan Adı özelliği ile yapabileceğinizi unutmayın. (Ayrıca bir 301 yönlendirmesi kullanıyorsanız, bu yönlendirmenin tercih edilen alan adı için ayarladığınız şeyle eşleştiğinden emin olun.)

Bir URL’nin tercih edilmeyen sürümlerini robots.txt dosyasıyla engelleme

Dinamik olarak oluşturulan sayfalar için, robots.txt dosyanızda örüntü eşleştirme kullanarak tercih edilmeyen sürümü engellemek isteyebilirsiniz. (Tüm arama motorlarının örüntü eşleştirmeyi desteklemediğini unutmayın, bu nedenle ilgilendiğiniz her arama motoru botunun yönergelerini kontrol edin.) Örneğin, 123 markalı sandalyelerle ilgili bir sayfaya işaret eden iki URL’yi gösteren üçüncü örnekte, “hotbuys” bölümü periyodik olarak değişir ve içerik her zaman birincil ve kalıcı bir konumdan erişilebilir durumdadır. Bu durumda, ilk sürümü dizine eklemek ve “hotbuys” sürümünü engellemek isteyebilirsiniz. Bunu yapmak için robots.txt dosyanıza aşağıdakileri ekleyin:

Bu kuralın amaçladığınız şeyi gerçekten engelleyeceğinden ve izin vereceğinden emin olmak için Webmaster Tools’daki robots.txt analiz aracını kullanın. Bu kuralı sayfadaki robots.txt bölümüne ekleyin, kontrol etmek istediğiniz URL’leri “Test URLs” bölümünde listeleyin ve Check düğmesine tıklayın. Bu örnek için, şuna benzer bir sonuç görürsünüz:

Çapalara (anchor) giden bağlantılar hakkında endişelenmeyin; çünkü Googlebot her bağlantıyı tarasa da, algoritmalarımız URL’yi çapa olmadan dizine ekleyecektir.

Yukarıda açıklananlar gibi bir girdi sağlamasanız bile, algoritmalarımız arama sonuçlarında gösterilecek bir sürümü seçme konusunda gerçekten iyi bir iş çıkarır.