Googlebot log analizi, tarayıcının hangi dosyalara tam olarak ne zaman eriştiğini görmek için sunucu istek loglarınızın incelenmesini içerir. Yetim sayfalar, sunucunuzda var olan ancak web sitenizin diğer bölümlerinden iç bağlantılara sahip olmayan sayfalardır. Bilinen URL listenizi sunucu loglarınızda kaydedilen gerçek etkinlikle karşılaştırarak, Googlebot’un bulduğu ancak ana site yapınıza dahil etmeyi unuttuğunuz sayfaları belirleyebilirsiniz.
Bu gizli sayfaları bulmak, sağlıklı bir tarama bütçesini korumak için hayati önem taşır. Googlebot zamanını yetim içeriklere harcadığında, yüksek öncelikli sayfalarınızı ihmal edebilir. Bu makale, arama görünürlüğünüzü artırmak için bu kalıpları nasıl belirleyeceğinizi ve yapısal sorunları nasıl düzelteceğinizi açıklamaktadır.
SEO için neden googlebot log analizi gereklidir?
Arama motorları yeni içerikleri öncelikle bağlantıları takip ederek keşfeder. Bir sayfanın iç bağlantısı yoksa, bir site haritasında görünmediği veya harici bir kaynaktan bağlanmadığı sürece tarayıcı için görünmez hale gelir. Logları analiz etmek, tarama sürecinin verimliliğini anlamanıza yardımcı olur ve birincil sayfalarınızın hak ettiği ilgiyi görmesini sağlar.
Poçok site, Googlebot’un eski yardımcı sayfalara veya terk edilmiş aşama (staging) alanlarına zaman harcadığı ‘tarama şişkinliği’nden (crawl bloat) muzdariptir. Log verilerini inceleyerek, tarayıcının bu çıkmaz sokaklarda takılıp kalıp kalmadığını görebilirsiniz. Bu analiz, amaçladığınız mimari ile arama motorunun dosyalarınızı gezinirken aslında ne deneyimlediği arasındaki farkı ortaya koyar.
Tipik bir hesapta, toplam tarama bütçesinin %15’inin kullanıcıya hiçbir değer sağlamayan sayfalara harcandığını sıklıkla görüyoruz. Bu durum, bu sayfaların yıllar önce indekslenmiş olması ve mevcut iç bağlantıları olmamasına rağmen Google’ın veritabanında hala varlığını sürdürmesinden kaynaklanmaktadır. Log analizi, bu alanları etkili bir şekilde temizlemek için gereken kanıtı sağlar.
Loglarınızdaki yetim bir sayfayı nasıl tanımlarsınız?
Yetim bir sayfa loglarınızda, erişildiğini belirten 200 durum koduyla görünür, ancak dahili sayfa URL’leri listenizde yoktur. İç bağlantı stratejinizdeki tüm potansiyel boşlukları kapattığınızdan emin olmak için bu kontrolü şu adımlarla gerçekleştirmelisiniz:
- Son 30 gün gibi belirli bir zaman dilimi için sunucu erişim loglarınızı dışa aktarın.
- Özellikle Googlebot kullanıcı aracısından (user agent) kaynaklanan istekleri izole etmek için logları filtreleyin.
- Mevcut XML site haritanızdan ve dahili tarama verilerinizden tüm URL’lerin kapsamlı bir listesini derleyin.
- Dahili denetim dışa aktarımınızda mevcut olmayan istenen URL’leri belirlemek için bir e-tablo veya karşılaştırma aracı kullanın.
- Bu yetim sayfaların yönlendirilmesi, kaldırılması veya ana navigasyonunuza bağlanması gerekip gerekmediğini doğrulayın.
Site taşımalarından veya CMS güncellemelerinden sonra yeni yetim sayfalar görünebileceği için tutarlı izleme gereklidir. Karşılaştırma sürecini otomatikleştirdiğinizde, reaktif bir temizleme görevini proaktif bir bakım takvimine dönüştürürsünüz. Bu, sitenizin temiz kalmasını ve Googlebot’un zamanını en son, yüksek kaliteli içeriğinize harcamasını sağlar.
Googlebot sitenize nasıl erişir?
Çoğu site için Googlebot, sitenize ortalama olarak her birkaç saniyede bir defadan fazla erişmemelidir.
Google Search Central
Tarayıcının nasıl davrandığını anlamak çok önemlidir. Özel veya bağlantısız olmasını amaçladığınız sayfalarda yüksek sıklıkta isabet fark ederseniz, log analiziniz Googlebot’un bu yolları eski site haritaları veya harici backlinkler gibi ikincil kaynaklar aracılığıyla bulduğunu ortaya koyacaktır. Bu, yetim bir sayfanın neden hala ziyaret alıyor olabileceğini açıklar.
Googlebot içeriğinizi getirmek için Akıllı Telefon (Smartphone) ve Masaüstü (Desktop) gibi farklı kullanıcı aracıları kullanır. Logları incelerken, site kapsamının tam resmini görmek için her iki türü de toplulaştırmak faydalıdır. Belirli bir klasör için yüksek hacimli istekler görürseniz, bu klasörün robots.txt aracılığıyla engellenmesi gereken eski dosyalar içerip içermediğini kontrol edin.
Alien Road bunu nasıl uygular
Alien Road olarak log analizini standart teknik denetim sürecimize entegre ediyoruz. Otomatik tahminlere güvenmiyoruz; sunucunuz tarafından oluşturulan ham verileri inceliyoruz. Tipik bir çalışmada, birincil varlıklarınızın önceliklendirilmesini sağlamak için tarama bütçesinin site bölümleriniz arasındaki dağılımını gözden geçiriyoruz.
- Yüksek değerli gelir sayfalarının düşük değerli yardımcı sayfalara kıyasla tam tarama sıklığının haritalandırılması.
- Yetim sayfaların, temel ürün kategorilerine ayrılması gereken tarama bütçesini tüketip tüketmediğinin belirlenmesi.
- Bot tarafından keşfedildikçe yeni yetim sayfaları bildirmek için sunucu tarafında izleme kurulması.
- İlgili her sayfanın en az bir açık iç bağlantıya sahip olmasını sağlamak için site mimarisinin iyileştirilmesi.
- Yanlışlıkla açıkta bırakılmış aşama URL’lerinin veya geçici dosyaların beklenmedik bir şekilde indekslenip indekslenmediğinin kontrol edilmesi.
Her ay binlerce yeni ürün ekleyen e-ticaret müşterileriyle sıklıkla çalışıyoruz. Bu metodolojiyi uygulayarak, yeni ürünlerin yetimsiz kalmamasını sağlıyoruz. Googlebot’un bu öğeleri canlıya alındıktan hemen sonra bulup bulmadığını görmek için logları kontrol ediyoruz, bu da iç bağlantı stratejimizin tasarlandığı gibi çalıştığını doğrular.
Hangi teknik faktörler tarama verimliliğini etkiler?
Bağlantıların ötesinde, sunucunuz tarafından kullanılan protokol de önemli ölçüde önemlidir. Modern tarayıcılar, daha verimli kaynak alımına izin veren HTTP/2 ve HTTP/3’ten yararlanır. Sunucunuz hala eski protokollere güveniyorsa, Googlebot gecikme sorunlarıyla mücadele edebilir ve bu da sitenizin tarayıcıya aslında olduğundan daha yavaş görünmesine neden olabilir.
Çoklayama (Multiplexing), Googlebot’un tek bir bağlantı üzerinden birden fazla CSS ve JavaScript dosyası almasını sağlayan modern protokollerin önemli bir özelliğidir. Bu, gereken sunucu el sıkışma sayısını büyük ölçüde azaltır. Sitenizi optimize ederken, sunucunuzun bu modern standartlar için yapılandırıldığından emin olmak, log analizi bulgularınızı tamamlayan pratik bir adımdır.
Bu hafta nereden başlamalı
Barındırma sağlayıcınız tarafından kullanılan en yaygın log analizi aracını belirleyerek başlayın. Yalnızca özet raporlara değil, ham log dosyalarına erişiminiz olduğunu doğrulayın. Loglarınızı aldıktan sonra, Googlebot kullanıcı aracısı dizesine göre filtreleyin ve benzersiz URL’leri site haritanızla karşılaştırın.
Değerli içerik barındıran yetim sayfalar bulursanız, Googlebot’un bunları doğru şekilde indekslemesine yardımcı olmak için hemen bunlara iç bağlantılar oluşturun. Sayfalar eskidu, en alakalı canlı sayfaya 301 yönlendirmeleri ayarlayın. Haftalık olarak gerçekleştirilen bu basit adım, site yapınızı sağlıklı tutar ve en iyi içeriğinizin arama motorları için ana odak noktası olarak kalmasını sağlar.