Tarama bütçenizi optimize edin

Bu kılavuz, Google’ın çok büyük ve sık güncellenen siteleri tarama sürecini nasıl optimize edeceğinizi açıklar.

Sitenizde hızla değişen çok sayıda sayfa yoksa veya sayfalarınız yayınlandıkları gün taranıyormuş gibi görünüyorsa, bu kılavuzu okumanıza gerek yoktur. Özellikle Google Arama için,
site haritanızı güncel tutmak ve
Sayfa Dizine Ekleme raporunu
düzenli olarak kontrol etmek yeterlidir.

Bu kılavuz kimler içindir?

Bu kılavuzdaki öneriler genel olarak iyi uygulamalar olsa da, bu kılavuz temel olarak aşağıdaki site türleri için hazırlanmış ileri düzey bir kılavuzdur:

• İçeriği orta sıklıkta (haftada bir) değişen büyük siteler (1 milyon+ benzersiz sayfa)
• İçeriği çok hızlı değişen (günlük) orta veya daha büyük siteler (10.000+ benzersiz sayfa)
• Toplam URL’lerinin büyük bir kısmı Search Console tarafından
  Keşfedildi – şu anda dizine eklenmedi

Genel tarama teorisi

Web, Google’ın herkese açık her URL’yi keşfetme yeteneğini aşan, neredeyse sonsuz bir alandır. Sonuç olarak, Google’ın tek bir siteyi taramaya ayırabileceği zaman ve kaynakların sınırları vardır. Bu kaynakların tahsisine genellikle sitenin
tarama bütçesidenir. Bu bağlamda, Google’ın tarama altyapısı bir siteyi benzersiz bir ana bilgisayar adı (hostname) olarak tanımlar. Örneğin, https://www.example.com/ ve
https://code.example.com/ ayrı siteler olarak değerlendirilir ve ayrı tarama bütçelerine sahiptir. Bir sitenin tarama bütçesi iki ana unsur tarafından belirlenir: tarama kapasitesi sınırı ve
tarama talebi.

Tarama kapasitesi sınırı

Google, sunucularınızı zorlamadan sitenizi taramak ister. Bunu önlemek için, Google’ın tarayıcıları bir tarama kapasitesi sınırı (
hostloadolarak da bilinir) hesaplar. Bu, sunucunuzun Google için açık bağlantıları tutmaya harcadığı toplam süreyi, hem paralel bağlantı sayısını hem de sürelerini hesaba katarak sınırlar. Bu, Google’ın sunucularınızı aşırı yüklemeden tüm önemli içeriğinizi kapsamasını sağlar.

Her site aynı varsayılan, muhafazakar tarama kapasitesi sınırı ile başlar. Daha fazla tarama talebi varsa ve site sağlıklı kalmaya devam ederse, Google’ın sistemleri bu sınırı zaman içinde otomatik olarak ayarlar.

Tarama kapasitesi sınırı birkaç faktöre bağlı olarak artabilir veya azalabilir:

• Tarama sağlığı: Site tutarlı bir şekilde yanıt verirse ve yanıt süreleri (gecikme ve İlk Bayt Süresi dahil) sabit kalır veya iyileşirse, sınır yükselir; bu da tarama için daha fazla bağlantının kullanılabileceği anlamına gelir. Site yavaşlarsa (gecikme artar veya yanıt süreleri uzarsa) ya da sunucu hatalarıyla (5xx HTTP durum kodları) veya HTTP 429gibi hız sınırlama sinyalleriyle yanıt verirse, sınır düşer ve Google daha az tarama yapar.
• Google’ın tarama sınırları: Google’ın kaynakları kapsamlı olsa da sınırlıdır ve kaynak tahsisini web genelinde önceliklendirmemiz gerekir.

Tarama talebi

Her tarayıcının, web’i tarama konusunda, o tarayıcıya özgü faktörler tarafından belirlenen kendi “talebi” vardır. Örneğin, bir sitede dinamik reklam hedefleri çalışırken AdsBot genellikle daha yüksek bir talebe sahiptir ve Google Alışveriş, ticari feed’lerinizdeki ürünler için daha yüksek bir talebe sahiptir.

Googlebot içintalep; sitenin boyutuna, güncelleme sıklığına, sayfa kalitesine ve diğer sitelere kıyasla alaka düzeyine göre değişir. Etkileyebileceğiniz temel faktörler şunlardır:

• Algılanan envanter: Sizden bir yönlendirme almadığında Google, sitenizde bildiği tüm veya çoğu URL’yi taramaya çalışır. Bu URL’lerin çoğu kopya ise veya başka bir nedenle (kaldırılmış, önemsiz vb.) taranmalarını istemiyorsanız, bu durum Google’ın sitenizdeki tarama süresinin büyük bir kısmını boşa harcar. Bu, olumlu yönde en çok kontrol edebileceğiniz faktördür.
• Popülerlik: İnternette daha popüler olan URL’ler, sistemlerimizde daha taze tutulmaları için genellikle daha sık taranır.
• Eskime: Sistemlerimiz, değişiklikleri yakalamak için belgeleri yeterince sık yeniden taramak ister.

Ek olarak, site taşıma gibi site genelindeki olaylar, yeni URL’ler altındaki içeriği yeniden işlemek için tarama talebinde bir artışı tetikleyebilir.

Özet

Tarama kapasitesini ve tarama talebini birlikte ele aldığımızda, Google bir sitenin tarama bütçesini, Google’ın tarayabileceği ve taramak istediği URL kümesi olarak tanımlar. Tarama kapasitesi sınırına ulaşılmasa bile, tarama talebi düşükse Google sitenizi daha az tarayacaktır.

En iyi uygulamalar

Tarama verimliliğinizi en üst düzeye çıkarmak için şu en iyi uygulamaları izleyin:

• URL envanterinizi yönetin: Google’a hangi sayfaların taranacağını ve hangilerinin taranmayacağını söylemek için uygun araçları kullanın. Google, taranmaması gereken URL’leri taramak için çok fazla zaman harcarsa, Google’ın tarayıcıları sitenizin geri kalanını keşfetmeyebilir veya tarama bütçenizi artırmayabilir.
  • Kopya içeriği birleştirin.
    Tarama odağını benzersiz URL’ler yerine benzersiz içeriğe odaklamak için kopya içeriği ortadan kaldırın.
  • robots.txt kullanarak URL taramasını engelleyin. Bazı sayfalar kullanıcılar için önemli olabilir, ancak bunların Google yüzeylerinde görünmesini veya Google’ın sistemleri tarafından yeniden işlenmesini mutlaka istemeyebilirsiniz. Örnekler arasında, bağlantılı sayfalardaki bilgileri kopyalayan sonsuz kaydırma sayfaları veya aynı sayfanın farklı şekilde sıralanmış sürümleri yer alır. Bunları ilk maddede açıklandığı gibi birleştiremiyorsanız, bu önemsiz sayfaları
    robots.txtkullanarak engelleyin. URL’leri robots.txt ile engellemek, Google’ın onları taramasını önler ve URL’lerin diğer Google sistemleri tarafından işlenme (örneğin Google Arama tarafından dizine eklenme) şansını önemli ölçüde azaltır.
  • Kalıcı olarak kaldırılan sayfalar için 404 veya 410 durum kodu döndürün.
    Google, bildiği bir URL’yi unutmaz, ancak bir 404 durum kodu, o URL’yi tekrar taramamak için güçlü bir sinyaldir. Ancak engellenen URL’ler tarama kuyruğunuzun bir parçası olarak çok daha uzun süre kalacak ve engel kaldırıldığında yeniden taranacaktır.
  • soft 404 hatalarını ortadan kaldırın . .
    soft 404 sayfaları taranmaya devam edecek ve bütçenizi boşa harcayacaktır.
    Sayfa Dizine Ekleme raporunu
    soft 404 hataları için kontrol edin.
  • Site haritalarınızı güncel tutun. Google site haritanızı düzenli olarak okur, bu nedenle Google’ın taramasını istediğiniz tüm içeriği dahil ettiğinizden emin olun. Siteniz güncellenmiş içerik içeriyorsa, <lastmod> etiketini eklemenizi öneririz.
  • Uzun yönlendirme zincirlerinden kaçının, çünkü bunların tarama üzerinde olumsuz bir etkisi vardır.
• Sayfalarınızı yükleme açısından verimli hale getirin.
  Google sayfalarınızı daha hızlı yükleyip oluşturabilirse, sitenizden daha fazla içerik okuyabiliriz.
  • Yükleme hızını iyileştirin: Sayfaların daha hızlı yüklenmesini sağlamak için sunucu yanıt sürelerinizi ve kaynaklarınızı optimize edin.
  • HTTP önbelleğe almayı kullanın: 304 (Değiştirilmedi)
    HTTP durum kodlarını destekleyin. Bir sayfa Google en son taradığından beri değişmediyse, bir 304 kodu döndürmek Google’a önbelleğe alınmış sürümü yeniden kullanmasını söyler, böylece sunucu bant genişliğinizden ve kaynaklarınızdan tasarruf edersiniz.
• Tarama bütçesiyle ilgili sorunları ayıklayın.
  Sitenizde tarama sırasında herhangi bir erişilebilirlik sorunu olup olmadığını kontrol edin ve taramanızı daha verimli hale getirmenin yollarını arayın.

Daha fazla tarama bütçesini nasıl alabilirim?

Tarama bütçesini artırmanın iki yolu vardır:

• Daha fazla sunucu kaynağı ekleyin: Siteniz sizin tarafınızdaki sunucu kapasitesi nedeniyle taranamıyorsa (örneğin, URL denetleme aracında
  Hostload exceeded
  hatası alıyorsanız), işletmeniz için mantıklıysa daha fazla sunucu kaynağı ekleyin.
• İçeriğinizin kalitesini hedeflediğiniz Google ürünü için optimize edin: Google, her siteye ayrılan tarama kaynaklarını, ilgili Google ürünüyle alakalı unsurları hesaba katarak belirler. Örneğin, Google Arama için bu; popülerlik, genel kullanıcı değeri, içerik benzersizliği ve sunum kapasitesi gibi şeyleri içerir.