Googlebot tarama bütçesi analizi, arama motoru tarayıcılarının web sitenizin etki alanındaki sayfaları nasıl talep ettiğini izlemek için sunucu günlüğü dosyalarınızı incelemeyi içerir. Bir site birkaç bin URL’yi aştığında, sunucu erişim kalıplarını anlamak, taze içeriğin hızlı bir şekilde keşfedilmesini sağlamak için gerekli hale gelir. Günlük analizi olmadan, Googlebot’un günlük olarak karşılaştığı belirli sunucu isteklerini ve yanıt kodlarını gizleyen Search Console’daki birleştirilmiş örnek raporlara tamamen güvenirsiniz. Teknik ekipler, arama motoru örümceklerinin taze içerik güncellemelerini dizine eklemesini engelleyen gizli darboğazları tespit etmek için bu ham verileri kullanır.
Bu denetimi gerçekleştirmek, genellikle barındırma kontrol panelinizde bulunan veya CDN sağlayıcınız aracılığıyla erişilen sunucu günlüklerinize doğrudan bir bağlantı gerektirir. Bu günlükleri filtreleyerek Googlebot’un site mimarinizi nasıl algıladığına dair net bir görüş elde edersiniz. Bu tanısal yaklaşım, site sahiplerinin tahmin yürütmenin ötesine geçmesine ve tarama verimliliklerinde veriye dayalı iyileştirmeler uygulamasına yardımcı olur.
Googlebot tarama bütçesi nedir ve neden önemlidir?
Tarama bütçesi, tarama kapasitesi sınırı ile tarama talebinin birleşimdir. Tarama kapasitesi sınırı, Googlebot’un kullanıcı deneyimini kötüleştirmeden sunucunuza kaç eşzamanlı bağlantı kurabileceğini belirler. Kaynak sunucunuz yavaş yanıt verirse, Googlebot altyapınızı ağır yük altında çökmeden korumak için istek hızını otomatik olarak azaltır.
Tarama talebi, URL popülaritesine ve sayfaların dizinde eskime riski taşıyıp taşımadığına bağlıdır. Büyük e-ticaret platformları ve yayıncılar, düşük değerli URL’ler tarama sınırlarını tükettiğinde ve önemli ürün veya kategori sayfalarını günlerce veya haftalarca ziyaret edilmemiş bıraktığında genellikle sorun yaşarlar. Örneğin, binlerce filtre kombinasyonuna sahip devasa bir katalog, tarayıcıları kolayca zayıf içerik sonsuz döngülerine hapsedebilir.
Sunucu yanıt süreleriniz ile tarama sıklığınız arasındaki ilişkiyi izlemek esastır. Sunucunuzun yanıt vermesi 500 ms sürüyorsa, Googlebot sunucunuz 100 ms’de yanıt verseydi alacağı sayfaların yalnızca bir kısmını getirebilir. Veritabanı sorgularınızı ve önbelleğe alma stratejilerinizi optimize ederek, Googlebot’un yeni içeriğinizi daha hızlı görmesi için kapasiteyi etkili bir şekilde artırırsınız.
Analiz için sunucu günlüklerini nasıl toplar ve hazırlarsınız?
Günlük analizine başlamak için barındırma sağlayıcınızdan, içerik dağıtım ağınızdan veya yük dengeleyicinizden ham erişim günlüklerini dışarı aktarın. Bu günlükler, kaynak sunucunuza ulaşan her HTTP isteği için zaman damgalı girdiler içerir. Googlebot kullanıcı aracısı dizelerini normal insan ziyaretçilerden ve diğer otomatize botlardan izole etmek için bu devasa metin dosyalarını filtrelemelisiniz. Komut satırı araçlarından veya özel günlük analizi yazılımlarından yararlanmak, bu büyük metin dosyalarını verimli bir şekilde işlemeye yardımcı olur.
- Doğrulanmış Googlebot kullanıcı aracısı dizelerini ve eşleşen IP adreslerini içeren günlük satırlarını filtreleyin.
- Belirli kaynak oluşturma sorunlarını araştırmadığınız sürece resimler, stil sayfaları ve yazı tipleri gibi statik varlık isteklerini kaldırın.
- Trafik sıçramalarını veya tarama düşüşlerini tespit etmek için istekleri URL, HTTP durum kodu ve günün saatina göre toplayın.
İlgili günlük girdilerini izole ettiğinizde, zaman içinde tarayıcı davranışını görselleştirmek için özel dinamik tablolar (pivot table) veya panolar oluşturabilirsiniz. Bu metrikleri haftalık olarak izlemek, sunucu yapılandırma hatalarından veya kazara güvenlik duvarı engellemelerinden kaynaklanan ani tarama düşüşlerini yakalamaya yardımcı olur. Site güncellemelerine veya büyük haber olaylarına dayalı olarak tarama sıklığında varyasyonlar görmek yaygındır.
Yüksek trafikli bir siteyi yönetiyorsanız, günlüklerinizi depolamak ve sorgulamak için ELK yığını veya BigQuery gibi araçları kullanmayı düşünün. Bu araçlar, tarama davranışındaki uzun vadeli trendleri belirlemek için hayati önem taşıyan tarihsel karşılaştırmalar yapmanıza olanak tanır. Örneğin, bir site migrasyonunun Googlebot’un ana envanter sayfalarınızı isteme biçiminde kalıcı bir değişikliğe neden olup olmadığını belirleyebilirsiniz.
Hangi HTTP durum kodları tarama bütçesi israfına işaret eder?
Sunucu günlükleri, Googlebot kapıyı çaldığında sunucunuzun tam olarak hangi durum kodunu döndürdüğünü ortaya çıkarır. Çok fazla yönlendirme döngüsü, sunucu hatası veya kırık bağlantı, değerli tarama işlemlerini boşa harcar. Örneğin, nihai bir 200 OK sayfasına ulaşmadan önce üç adet 301 yönlendirmesinden oluşan bir zincir, tek bir belge için birden fazla istek döngüsünü tüketir.
- 5xx hataları: Tarayıcıları geri çekilmeye ve istek oranlarını düşürmeye zorlayan sunucu aşırı yüklenmesi veya zaman aşımı sorunları.
- 4xx hataları: Harici referanslardan kalıcı tarama denemeleri almaya devam eden kırık bağlantılar veya silinmiş sayfalar.
- 3xx zincirleri: İçerik keşfini geciktiren ve gereksiz sunucu kaynakları tüketen aşırı yönlendirme yolları.
Bu hatalı yanıtların düzeltilmesi, Googlebot’un yaptığı her isteğin sitenizde geçerli, dizine eklenebilir içeriğin keşfedilmesine veya güncellenmesine doğrudan katkıda bulunmasını sağlar. Altyapınızın şu anda güvenilmez olduğunu Googlebot’a bildiren doğrudan sinyaller olduklarından, öncelikle 5xx hatalarını düzeltmeye öncelik vermelisiniz.
4xx hataları için, bozuk URL’lere hangi sayfaların bağlantı verdiğini bulmak üzere günlüklerinizi kullanın. Genellikle bunlar artık bir amaç gütmeyen, güncelliğini yitirmiş dahili bağlantılar veya yetim sayfalardır. Bu bağlantıların kaldırılması veya düzeltilmesi, tarayıcının sınırlı bütçesini gerçekten trafik getiren canlı, yüksek değerli sayfalara odaklamasına olanak tanır.
Günlük dosyalarınızda parametre şişmesini nasıl tanımlarsınız?
URL parametre şişmesi, israf edilen tarama kapasitesinin ardındaki başlıca suçludur. E-ticaret siteleri sıralama seçenekleri, para birimi seçiciler ve izleme etiketleri aracılığıyla ürün sayfalarının sonsuz varyasyonlarını üretir. Günlük dışarı aktarımlarını incelerken, Googlebot’un günlük isteklerinin yüzde ellisini benzersiz envanter yerine yinelenen filtre kombinasyonlarına harcayıp harcamadığını görmek için URL’leri yol yapısına göre gruplandırın.
Parametre israfını düzeltmek; robots.txt engelleme kurallarını, Search Console’daki parametre işleme yönergelerini veya kanonik bağlantı uygulamalarını birleştiren sağlam bir strateji gerektirir. Uygulama sonrasında sunucu günlüklerinizi izlemek, Googlebot’un dikkatini daha temiz URL yapılarına başarıyla yönlendirip yönlendirmediğini doğrular.
Sorgu dizelerini özellikle inceleyin. Tek bir ürün sayfası için binlerce varyasyon görüyorsanız, dahili arama işlevselliğinizin veya filtre navigasyonunuzun taranabilir URL’lerin sonsuz bir döngüsünü yaratması muhtemeldir. Bunları kanonik etiket (canonical) aracılığıyla birleştirmek, Google’a sayfanın hangi sürümünün birincil olduğunu bildirmenin standart bir yoludur.
Alien Road bunu nasıl uygular
Alien Road’da teknik SEO iş akışımız, müşteri altyapısının ve günlük dosyalarının kapsamlı bir incelemesiyle başlar. Binlerce SKU satan perakende müşterisi için bir denetim üstlendiğimizde, tarama dağılımını haritalandırmak için önce ham Apache veya Nginx günlüklerini ayrıştırırız. Faset parametrelerinin veya sıralama filtrelerinin tarayıcı dikkatini tükettiği kalıpları ararız. Bu kötü yönetilen yolları belirleyerek ekibimiz, Googlebot odağını yüksek dönüşümlü açılış sayfalarına yönlendirmek için uygun robots.txt yönergelerini ve kanonik etiketleri yapılandırmaya yardımcı olur.
Yapılandırılmış katılım sürecimiz; sürekli günlük izleme boru hatları kurmayı, yanıt başlıklarını denetlemeyi ve simüle edilmiş yük altında sunucu kapasitesi sınırlarını test etmeyi içerir. Bu proaktif yaklaşım, büyük kurumsal etki alanları için sürdürülebilir bir indeksleme sağlığı sağlar. Sitenin en önemli bölümleri için taze indeksleme sıklığını artıran sonuçlara odaklanıyoruz.
Yapılandırılmış veriler, web sitenizin içeriği ile arama motorları arasında bir köprü görevi görür.
Google Search Central
Bu hafta nereden başlamalı
Birincil üretim sunucunuzdan bir haftalık sunucu günlüklerini indirerek başlayın. ‘Googlebot’tan gelen isabet sayısını saymak için basit bir metin düzenleyici veya günlük ayrıştırma aracı kullanın. Bu isabetlerin %30’undan fazlasının 4xx veya 5xx durum kodu döndürdüğünü fark ederseniz, hemen iyileştirme alanı bulmuş demektir.
Ardından, en çok tarama isabeti alan URL’leri mevcut site yapınızla çapraz referans yapın. Googlebot’un arama sonuçları sayfalarında veya oturum açma ekranlarında zaman geçirdiğini görürseniz, gelecekteki taramalardan engellemek için bu yolları robots.txt dosyanıza ekleyin. Bu az çaba gerektiren değişikliklere odaklanmak, tarama bütçesi verimliliğiniz için en acil sonuçları verecektir.