Tarama bütçesi optimizasyonu, Googlebot’un web sitenizde belirli bir zaman dilimi içinde ziyaret edebileceği ve ziyaret etmeyi amaçladığı URL sayısını ifade eder. Binlerce ürün varyasyonu, karmaşık filtreler ve dinamik kategoriler içeren büyük e-ticaret siteleri için, en önemli sayfalarınızın zamanında güncellemeler almasını sağlamak adına bu kaynağı yönetmek esastır. Google bu bütçeyi sitenizin sağlığına, sunucu yanıt hızına ve arama indeksine sağladığınız benzersiz içeriğin genel hacmine göre tahsis eder.
Google neden taranan sayfa sayısını sınırlar?
Googlebot, sunucu kapasitenizi aşırı yüklemeden sitenizi ziyaret etmeyi amaçlar. Bir site yavaş yanıt verdiğinde veya sık sık 5xx hataları döndürdüğünde, Google altyapınızı korumak için tarama hızını düşürür. Bu sınır, arama motorlarının mağazanızda bir kesintiye neden olmamasını sağlayan bir güvenlik mekanizmasıdır.
50.000 SKU’lu bir e-ticaret platformu için, sunucu eşzamanlı istekleri işlemekte zorlanırsa, Googlebot etkinliğini yavaşlatacaktır. Bu, yeni ürün lansmanlarınızın veya fiyat ayarlamalarınızın arama sonuçlarında görünmesinin saatler değil günler sürebileceği anlamına gelir. Yavaş bir sunucu, esasen Google’a sitenizin daha sık ziyaretleri kaldıramayacağının bir sinyalidir ve içerik hacminiz ne olursa olsun daha düşük bir tarama hızıyla sonuçlanır.
Ek olarak Google, içeriğinizin kalitesini ve benzersizliğini değerlendirir. Sitenizin devasa bir kısmı filtreleme parametreleri tarafından oluşturulan yinelenen sayfalardan oluşuyorsa, Googlebot bunları düşük değerli olarak tanımlar. Kaynak tasarrufu yapmak için doğal olarak bu bölümlerde daha az zaman harcayacak ve bu da birincil ürün sayfalarınızın keşfini istemeden sınırlayacaktır.
Tarama verimliliği sorunlarını nasıl belirleyebilirsiniz?
Uygulayıcılar, hangi kullanıcı aracılarının ziyaret ettiğini ve ne sıklıkla geldiğini görmek için sunucu günlüklerine bakmalıdır. Googlebot zamanının çoğunu yönlü (faceted) navigasyon parametreleri veya yazıcı dostu sürümler gibi düşük değerli sayfalarda harcıyorsa, tarama bütçeniz boşa harcanıyor demektir. Müşterilerinize hiçbir değer sunmayan çıkmaz sokaklarla veya gereksiz döngülerle botun nerede karşılaştığını görmek için bu kalıpları takip edebilirsiniz.
Başlamak için, ‘?size=xl’ veya ‘?color=blue’ gibi sorgu dizeleri içeren URL’lerde yüksek frekanslı isabetler için günlük dosyalarınızı inceleyin. Binlerce bu tür istek görürseniz, sunucunuz yedekli içerik sunmak için çok çalışıyor demektir. Bu, botun ana kategori yapılarınızı belirlemek yerine bir permütasyon döngüsüne sıkıştığının açık bir göstergesidir.
- Yinelenen veya parametre açısından yoğun içeriğe yönelik tekrarlanan istekler için sunucu günlüklerini izleyin.
- İndekslenmiş sayfalarda tarama artışları veya ani düşüşler için Google Search Console’u kontrol edin.
- Yavaş sayfa yüklemeleri tarama hızını önemli ölçüde azalttığı için site hızınızı değerlendirin.
- Önemli bölümleri engellemediğinizden emin olmak için robots.txt dosyanızı denetleyin.
Hangi teknik adımlar tarama önceliğini iyileştirir?
Tarama verimliliğini artırmak, arama motoruna net sinyaller verilmesini gerektirir. Yüksek otoriteli sayfaların yeni veya güncellenmiş ürünlere bağlantı vermesini sağlayarak iç bağlantı stratejinize öncelik vermelisiniz. Bu, tarayıcının takip etmesi için net bir yol oluşturur. Dahası, doğru ve güncel bir XML site haritası bulundurmak, Google’ın birincil URL’lerinizi daha hızlı keşfetmesine yardımcı olur.
Kanonik (canonical) etiketler, sinyallerinizi konsolide etmek için birincil araç olarak hizmet eder. Bir ürün sayfasının tüm varyasyonlarını tek bir ana URL’ye yönlendirerek, Googlebot’a yalnızca bir sürümün indeksleme çabasına değdiğini söylersiniz. Bu, botun yinelenen sürümlerde harcadığı süreyi azaltarak bir sonraki kategori sayfanıza daha erken geçmesini sağlar.
Tarama ve indeksleme, Google Arama sürecindeki iki ayrı adımdır.
Google Search Central
Alien Road tarama bütçesi yönetimini nasıl uygular
Alien Road’da tarama bütçesi yönetimine, öncelikle verimli keşfi engelleyen teknik darboğazları izole ederek yaklaşıyoruz. Tipik bir e-ticaret müşterisi için, tarayıcının zamanını tam olarak nerede harcadığını haritalandırmak için bir günlük dosyası analiziyle başlıyoruz. Ardından, botun alakasız içeriğe ulaşmasını engelleyen filtre tabanlı URL’leri ve indekslenmemiş parametre sayfalarını hariç tutmak için robots.txt yönergeleri uyguluyoruz.
Sürecimiz, sitenin derinliğinin ana sayfadan üç veya dört tıklamadan fazla olmamasını sağlamak için site mimarisinin denetlenmesini içerir. Ayrıca sayfalamanın doğru şekilde ele alınmasını sağlayarak, tarayıcının uygun ‘rel=next/prev’ veya standart çapa bağlantılarından yoksun sonsuz kaydırma uygulamalarında kaybolmasını önlüyoruz.
- Kanonik olmayan veya bozuk bağlantıları kaldırmak için mevcut site haritası yapısını denetleyin.
- Aynı ürünün birden fazla sürümünü önlemek için URL parametrelerini standartlaştırın.
- Tarama oturumları sırasında gecikmeyi azaltmak için sunucu taraflı önbelleğe almayı yapılandırın.
- Ürün sayfaları için net bağlam sağlamak üzere yapılandırılmış verileri kullanın.
Tarama optimizasyonunda başarıyı nasıl ölçersiniz?
Başarı, taranan sayfaların indekslenen sayfalara oranı ve taze içeriğin SERP’lerde görünme hızıyla ölçülür. Fiyatlarınızı veya stok seviyelerinizi güncellerseniz, bu değişikliklerin daha kısa süre içinde arama sonuçlarında yansıdığını görmelisiniz. Bu değişim, Googlebot’un zamanını doğru sayfalarda harcadığını gösterir.
Ayrıca Google Search Console’daki ‘Tarandı – şu anda dizne eklenmedi’ hatalarının sayısını da izliyoruz. Bu sayıdaki bir azalma, genellikle site mimarinizin daha temiz olduğunu ve tarayıcının teknik gürültüyle dikkati dağılmak yerine yüksek kaliteli içeriğe odaklandığını gösterir. Bu denge, arama motorunun kaynaklarına saygı duyarken kendi maruziyetini en üst düzeye çıkaran sağlıklı bir sitenin özelliğidir.
Bu hafta nereden başlamalı
En önemli 100 ürün veya kategori sayfanızı belirleyin ve bunların XML site haritanızda görünüp görünmediğini doğrulayın. Ardından, Googlebot’un kullanıcılara değer sağlamayan sayfalarda zaman harcayıp harcamadığını görmek için sunucu günlüklerinizi inceleyin. Bu teknik engellerin aşılması, güncellemelerinizin bu hafta Google arama sonuçlarında ne kadar hızlı göründüğünde doğrudan bir iyileşme görmenizi sağlayacaktır.