16 Ocak 2017, Pazartesi
Son zamanlarda “tarama bütçesi” (crawl budget) için birçok tanım duyduk, ancak “tarama bütçesi”nin harici olarak temsil ettiği her şeyi kapsayan tek bir terimimiz yok. Bu yazıyla, aslında neye sahip olduğumuzu ve bunun Googlebot için ne anlama geldiğini açıklığa kavuşturacağız.
Öncelikle, aşağıda açıklanan tarama bütçesinin çoğu yayıncının endişelenmesi gereken bir konu olmadığını vurgulamak isteriz. Yeni sayfalar yayınlandıkları gün taranıyorsa, tarama bütçesi web yöneticilerinin odaklanması gereken bir konu değildir. Aynı şekilde, bir site birkaç bin URL’den az içeriğe sahipse, çoğu zaman verimli bir şekilde taranacaktır.
Neyin, ne zaman taranacağına öncelik vermek ve siteyi barındıran sunucunun tarama için ne kadar kaynak ayırabileceğini belirlemek; daha büyük siteler veya örneğin URL parametrelerine dayalı olarak otomatik sayfa oluşturan siteler için daha önemlidir.
Tarama hızı sınırı (Crawl rate limit)
Googlebot, internetin iyi bir vatandaşı olacak şekilde tasarlanmıştır. Tarama ana önceliğidir, ancak bunu yaparken siteyi ziyaret eden kullanıcıların deneyimini düşürmediğinden emin olur. Buna, belirli bir site için maksimum getirme hızını sınırlayan “tarama hızı sınırı” diyoruz.
Basitçe ifade etmek gerekirse bu, Googlebot’un siteyi taramak için kullanabileceği eşzamanlı paralel bağlantıların sayısını ve getirme işlemleri arasında beklemesi gereken süreyi temsil eder. Tarama hızı birkaç faktöre bağlı olarak artabilir veya azalabilir:
- Tarama sağlığı: Site bir süreliğine gerçekten hızlı yanıt verirse, sınır yükselir; bu da tarama için daha fazla bağlantının kullanılabileceği anlamına gelir. Site yavaşlarsa veya sunucu hatalarıyla yanıt verirse, sınır düşer ve Googlebot daha az tarama yapar.
- Search Console’da belirlenen sınır: Web sitesi sahipleri, Googlebot’un sitelerini tarama hızını düşürebilirler. Daha yüksek sınırlar belirlemenin taramayı otomatik olarak artırmayacağını unutmayın.
Tarama talebi (Crawl demand)
Tarama hızı sınırına ulaşılmasa bile, indeksleme tarafından bir talep yoksa Googlebot’tan düşük aktivite gelecektir. Tarama talebini belirlemede önemli rol oynayan iki faktör şunlardır:
- Popülerlik: İnternette daha popüler olan URL’ler, indeksimizde daha taze tutulmaları için daha sık taranma eğilimindedir.
- Eskime (Staleness): Sistemlerimiz, URL’lerin indekste eskimesini önlemeye çalışır.
Ek olarak, site taşıma gibi site genelindeki olaylar, içeriğin yeni URL’ler altında yeniden indekslenmesi için tarama talebinde bir artışı tetikleyebilir.
Tarama hızı ve tarama talebini bir araya getirdiğimizde, tarama bütçesini Googlebot’un tarayabileceği ve taramak istediği URL sayısı olarak tanımlıyoruz.
Tarama bütçesini etkileyen faktörler
Analizlerimize göre, düşük katma değerli birçok URL’ye sahip olmak, bir sitenin taranmasını ve indekslenmesini olumsuz etkileyebilir. Düşük katma değerli URL’lerin önem sırasına göre şu kategorilere girdiğini tespit ettik:
- Fasetli navigasyon ve
oturum tanımlayıcıları - Site içi kopya içerik
- Soft hata sayfaları
- Hacker saldırısına uğramış sayfalar
- Sonsuz döngüler ve vekiller (proxies)
- Düşük kaliteli ve spam içerik
Sunucu kaynaklarını bu tür sayfalara harcamak, aslında değeri olan sayfalardan tarama aktivitesini çalacak ve bu da bir sitedeki harika içeriğin keşfedilmesinde önemli bir gecikmeye neden olabilecektir.
En çok sorulan sorular
Tarama, sitelerin Google arama sonuçlarına giriş noktasıdır. Bir web sitesinin verimli taranması, Google Arama’da indekslenmesine yardımcı olur.
Site hızı tarama bütçemi etkiler mi? Peki ya hatalar?
Bir siteyi hızlandırmak kullanıcı deneyimini iyileştirirken aynı zamanda tarama hızını da artırır. Googlebot için hızlı bir site, sağlıklı sunucuların işaretidir; bu sayede aynı sayıda bağlantı üzerinden daha fazla içerik alabilir. Diğer taraftan, önemli sayıda 5xx hatası veya bağlantı zaman aşımı bunun tersini işaret eder ve tarama yavaşlar.
Search Console’daki Tarama Hataları raporuna dikkat etmenizi ve sunucu hatalarının sayısını düşük tutmanızı öneririz.
Tarama bir sıralama faktörü müdür?
Artan tarama hızı, Arama sonuçlarında mutlaka daha iyi konumlara yol açmaz. Google, sonuçları sıralamak için yüzlerce sinyal kullanır ve tarama sonuçlarda yer almak için gerekli olsa da, bir sıralama sinyali değildir.
Alternatif URL’ler ve gömülü içerikler tarama bütçesine dahil mi?
Genel olarak, Googlebot’un taradığı her URL, bir sitenin tarama bütçesine dahil edilir. AMP veya hreflang gibi alternatif URL’lerin yanı sıra, AJAX (XHR çağrıları gibi) dahil olmak üzere CSS ve JavaScript gibi gömülü içeriklerin de taranması gerekebilir ve bunlar sitenin tarama bütçesini tüketir. Benzer şekilde, uzun yönlendirme zincirleri de tarama üzerinde olumsuz bir etkiye sahip olabilir.
Googlebot’u crawl-delay kuralı ile kontrol edebilir miyim?
Standart olmayan crawl-delay robots.txt kuralı Googlebot tarafından işlenmez.
nofollow kuralı tarama bütçesini etkiler mi?
Bu duruma göre değişir. Taranan her URL tarama bütçesini etkiler; bu nedenle sayfanız bir URL’yi nofollow olarak işaretlese bile, sitenizdeki başka bir sayfa veya web üzerindeki herhangi bir sayfa bağlantıyı nofollow olarak etiketlemezse, URL yine de taranabilir.
robots.txt aracılığıyla izin vermediğim URL’ler tarama bütçemi herhangi bir şekilde etkiler mi?
Hayır, izin verilmeyen (disallowed) URL’ler tarama bütçesini etkilemez.
Sitenizin taranmasını nasıl optimize edeceğiniz hakkında bilgi almak için, hala geçerli olan 2009 tarihli tarama optimizasyonu hakkındaki blog yazımıza göz atın. Sorularınız varsa, forumlarımızda sorun!
Biz bunu nasıl uyguluyoruz
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
İlgili hizmetler