Tarama ve indeksleme süreçlerinizi optimize edin.

10 Ağustos 2009, Pazartesi

Web sitesi mimarisi, tarama ve dizine ekleme ve hatta sıralama sorunlarıyla ilgili birçok soru tek bir temel noktaya indirgenebilir:
Arama motorlarının sitenizi taraması ne kadar kolay?
Yakın zamandaki birçok etkinlikte bu konuyu ele aldık; aşağıda sunumumuzu ve bu konudaki bazı önemli çıkarımları bulabilirsiniz.

İnternet büyük bir yer;
sürekli yeni içerikler üretiliyor. Google’ın sınırlı sayıda kaynağı var; bu nedenle çevrimiçi ortamda bulunan neredeyse sonsuz miktardaki içerikle karşı karşıya kaldığında, Googlebot bu içeriğin yalnızca bir kısmını bulup tarayabiliyor. Ardından, taradığımız içeriğin de yalnızca bir kısmını dizine ekleyebiliyoruz.

URL’ler, web siteniz ile arama motoru tarayıcısı arasındaki köprüler gibidir: Tarayıcıların sitenizin içeriğine ulaşabilmesi için bu köprüleri bulup geçebilmeleri (yani URL’lerinizi bulup tarayabilmeleri) gerekir. URL’leriniz karmaşık veya gereksizse, tarayıcılar adımlarını takip etmek ve tekrar etmekle vakit kaybeder; URL’leriniz düzenli ve doğrudan farklı içeriklere yönlendiriyorsa, tarayıcılar boş sayfaları taramak veya aynı içeriği farklı URL’ler üzerinden tekrar tekrar taramak yerine zamanlarını içeriğinize erişerek geçirebilirler.

Yukarıdaki slaytlarda yapılmaması gerekenlere dair bazı örnekleri görebilirsiniz—kendi geliştirdiğiniz URL hileleri ve kodlamaları, URL yolunun bir parçası gibi görünen parametreler, sonsuz tarama alanları ve daha fazlasına dair gerçek hayattan örnekler (masumları korumak adına isimler değiştirilmiştir). Ayrıca, bu URL labirentini düzene sokmak ve tarayıcıların içeriğinizin daha fazlasını daha hızlı bulmasına yardımcı olmak için bazı öneriler bulacaksınız:

• Kullanıcıya özel ayrıntıları URL’lerden kaldırın. Oturum kimlikleri veya sıralama düzeni gibi sayfa içeriğini değiştirmeyen URL parametreleri, URL’den kaldırılıp çerezlere taşınabilir. Bu bilgiyi bir çerezde tutarak ve 301 yönlendirmesi ile “temiz” bir URL’ye yönlendirerek, bilgiyi korumuş ve aynı içeriği işaret eden URL sayısını azaltmış olursunuz.
• Sonsuz alanları dizginleyin. Geçmiş veya gelecek tarihlere (her biri kendi benzersiz URL’sine sahip) giden sonsuz sayıda bağlantı içeren bir takviminiz mi var? URL’ye &page=3563 eklediğinizde, o kadar çok veri sayfası olmasa bile 200 durum kodu döndüren sayfalandırılmış verileriniz mi var? Eğer öyleyse, web sitenizde bir sonsuz tarama alanı var demektir ve tarayıcılar hepsini taramaya çalışırken (sizin ve kendi!) bant genişliğinizi boşa harcıyor olabilir. Sonsuz alanları dizginlemek için bu ipuçlarını değerlendirin.
• Googlebot’un gerçekleştiremeyeceği işlemleri engelleyin. robots.txt dosyanızı kullanarak giriş sayfalarının, iletişim formlarının, alışveriş sepetlerinin ve tek işlevi bir tarayıcının gerçekleştiremeyeceği bir şey olan diğer sayfaların taranmasını engelleyebilirsiniz. (Tarayıcılar doğası gereği “Sepete ekle” veya “Bize ulaşın” gibi işlemleri yapmazlar.) Bu, tarayıcıların zamanlarını gerçekten işleyebilecekleri içerikleri tarayarak geçirmelerini sağlar.
• Bir kişi, bir oy. Bir URL, bir içerik seti. İdeal bir dünyada, URL ile içerik arasında bire bir eşleşme vardır: her URL benzersiz bir içeriğe yönlendirir ve her içeriğe yalnızca bir URL üzerinden erişilebilir. Bu ideale ne kadar yaklaşırsanız, siteniz tarama ve dizine ekleme için o kadar optimize edilmiş olur. CMS’niz veya mevcut site kurulumunuz bunu zorlaştırıyorsa, belirli bir içerik için tercih edilen URL’yi belirtmek üzere rel="canonical" öğesini kullanabilirsiniz.

Sitenizi tarama ve dizine ekleme için optimize etme konusunda başka sorularınız varsa, konuyla ilgili önceki yazılarımıza göz atın veya Yardım Forumumuzu ziyaret edin.

Yazan:
Susan Moskwa,
Web Yöneticisi Trendleri Analisti