Crawl budget iki şeyin kesişimidir: tarama hızı sınırı (Google’ın sunucunuzu zorlamadan ne kadar veri çekebileceği) ve tarama talebi (popülerlik ve güncellik durumuna göre Google’ın ne kadar veri çekmek istediği).
Bunu kimlerin düşünmesi gerekir
Google, çoğu sitenin buna ihtiyaç duymadığını açıkça belirtir. Bu konu, düzenli olarak değişen yaklaşık bir milyondan fazla URL’ye sahip siteler veya çok sık değişen içeriğe sahip orta ölçekli siteler (10.000+ URL) için önem kazanır. Bunun altındaki ölçeklerde, sayfalar dizine eklenmiyorsa, bunun nedeni neredeyse her zaman bütçe değil, kalite veya keşfedilebilirlik sorunlarıdır.
Bütçeyi neler tüketir
- Sonsuz URL kombinasyonları oluşturan yönlü navigasyon
- URL’lerdeki oturum kimlikleri ve takip parametreleri
- 200 kodu döndüren hatalı 404 sayfaları (Soft 404)
- Sonsuz takvimler ve sonu olmayan sayfalandırılmış arşivler
- Parametre varyasyonları genelinde yinelenen içerik
Alien Road öneriyor: Crawl budget optimizasyonu yapmadan önce sunucu loglarını kontrol edin. Büyük ölçekli her projede ham logları talep ediyoruz çünkü bunlar Googlebot’un gerçekte neyi talep ettiğini gösterir ve çoğu durumda tarama bütçesi, varlığından kimsenin haberdar olmadığı parametre URL’lerine harcanmaktadır. Bunu düzeltmek, ekleyebileceğiniz herhangi bir direktiften daha hızlı ve daha güvenlidir.
Biz bunu nasıl uyguluyoruz
Crawl budget matters on large sites and is a distraction on small ones. Our threshold matches Google’s: below roughly ten thousand URLs we do not touch it, and above that we start with server logs rather than with crawl-budget theories.
İlgili hizmetler