SEO için log dosyası analizi, arama motoru krollerinin sayfalarınızla tam olarak nasıl etkileşime girdiğini takip etmek amacıyla web siteniz tarafından oluşturulan ham sunucu loglarını inceleme sürecidir. Bu dosyalar, bir arama motoru botunun web sitenizi her ziyaret ettiğinde bir kaydını sunarak altyapınızın otomatize istekleri nasıl ele Βedtiğine dair doğrudan bir bakış açısı sunar. Bu logları inceleyerek, krollerin ne sıklıkla ziyaret ettiğini, hangi belirli sayfalara öncelik verdiğini ve oturumları sırasında hangi teknik hatalarla karşılaştıklarını bildiren ham verilere erişim kazanırsınız.
Log dosyası analizi nedir ve neden önemlidir?
Bir sunucu logu, web sunucunuza yapılan her isteği kaydeden bir metin dosyasıdır. Bir kullanıcı sitenizi ziyaret ettiğinde, tarayıcısı HTML, CSS ve görseller gibi dosyaları talep eder. Benzer şekilde, Googlebot gibi bir arama motoru botu geldiğinde, aynı dosyaları talep eder. Bu etkileşimler sunucu loglarınızda kaydedilir. JavaScript çalıştırılmasına dayanan analitik araçlarından farklı olarak, log dosyaları sunucu tarafındaki isteklerin mutlak gerçekliğini yakalar. Bu, log dosyalarını arama motorlarının site yapınızı nasıl gördüğünü anlamak için en doğru doğruluk kaynağı yapar.
Tipik bir hesapta, arama motorlarının dönüşüm getiren içeriğinizi görmezden gelerek düşük değerli sayfalara kaynak harcadığını fark edebilirsiniz. Bu, tarama bütçesi yinelenen sayfalar, arama filtreleri veya ağır varlıklar tarafından tüketildiğinde gerçekleşir. Bu logları analiz ederek tarama sıklığı kalıplarını belirleyebilir ve botların nerede takıldığını tam olarak saptayabilirsiniz. Örneğin, hiçbir arama değeri sunmayan sayfalandırılmış bir arama filtresine yapılan binlerce istek görürseniz, robots.txt veya kanonik etiketler aracılığıyla teknik optimizasyon için net bir hedefiniz demektir.
Sunucu log dosyalarınıza nasıl erişirsiniz?
Başlamak için barındırma (hosting) ortamınızdan ham logları elde etmeniz gerekir. cPanel veya Plesk gibi çoğu hosting kontrol paneli, ham erişim logları veya hata logları için bir bölüm sağlar. Cloudflare gibi bir İçerik Dağıtım Ağı (CDN) kullanıyorsanız, bu logları genellikle doğrudan kontrol panellerinden indirebilirsiniz. Özel sunucularda veya VPS’de olanlar için, genellikle /var/log/apache2/ veya /var/log/nginx/ gibi dizinlerde bulunan bu dosyalara SSH veya FTP aracılığıyla erişmeniz gerekebilir.
Dosyalara sahip olduğunuzda, genellikle okunması zor olan ham bir biçimdedirler. Birleştirilmiş Log Formatı (Combined Log Format) gibi yaygın log formatlarını aramalısınız. Her girdi, isteği yapanın IP adresini, zaman damgasını, talep edilen URL’yi, HTTP durum kodunu ve kullanıcı aracısı (user agent) dizesini içerir. Kullanıcı aracısını tanımlamak çok önemlidir, çünkü ziyaretçinin meşru bir arama motoru botu mu yoksa farklı bir otomatize tarayıcı türü mü ya da insan kullanıcı mı olduğunu doğrular.
Loglarınızda hangi teknik hataları aramalısınız?
Bu dosyaları denetlerken birincil hedefiniz, arama motorlarının içeriğinizi başarıyla indekslemesini engelleyen durum kodlarını bulmaktır. Çok sayıda 5xx sunucu hatası, sunucunuzun bot isteklerine yanıt vermekte zorlandığını gösterir ve bu da tarama sıklığının azalmasına yol açabilir. Arama motorları defalarca sunucu zaman aşımıyla karşılaşırsa, altyapınıza daha fazla yük bindirmemek için daha seyrek ziyarette bulunabilirler. Ayrıca, botun sitenizde kırık bağlantılar bulduğunu gösteren 404 hatalarını da kontrol etmelisiniz.
İzlenecek temel durum kodları
- 200 OK: Botun içeriğinize ulaştığını gösteren başarılı istekler.
- 301/302 Yönlendirmeler: Sık yönlendirmeler, botun zamanını harcayan dağınık bir site yapısına işaret edebilir.
- 404 Bulunamadı: Botun tarama bütçesini ölü sayfalarda harcamadığından emin olmak için bunlar en aza indirilmelidir.
- 5xx Sunucu Hataları: Bunlar, sağlıklı bir tarama oranını korumak için ele alınması gereken kritik altyapı sorunlarını gösterir.
Bot davranışı kalıplarını nasıl belirleyebilirsiniz?
Bot davranışını analiz etmek, belirli arama motoru krollerini izole etmek için log verilerinizi filtrelemeyi içerir. Googlebot, Bingbot veya YandexBot gibi dizeleri içeren kullanıcı aracısı dizelerini aramalısınız. Bu girdileri izole ettiğinizde, botların çabalarını web sitenizin en önemli kısımlarına odaklayıp odaklamadığını görebilirsiniz. Taramanın büyük bir kısmı birincil içerik barındırmayan görsellere, CSS’e veya JavaScript dosyalarına ayrılmışsa, önbellekleme veya kaynak sunum stratejilerinizi ayarlamanız gerekebilir.
Ev eşyaları satan bir Shopify mağazasını içeren bir senaryoyu düşünün. Arama motorunun zamanının yüzde 60’ını kenar çubuğu filtreleriniz tarafından oluşturulan filtrelenmiş koleksiyon sayfalarını taramakla geçirdiğini keşfedebilirsiniz. Bu sayfalar genellikle ince içeriğe sahip olduğundan veya sonsuz kombinasyonları temsil ettiğinden, bot etkili bir şekilde ürün sayfalarınızdan uzaklaştırılmaktadır. Bu sıklığı analiz ederek, robots.txt yönergelerinizin veya noindex etiketlerinizin kroller tarafından gerçekten dikkate alınıp alınmadığını doğrulayabilirsiniz.
Log analizi gerçekleştirirken yapılan yaygın hatalar
Sık yapılan bir hata, botun kimliğini doğrulayamamaktır. Birçok kötü amaçlı bot veya kazıyıcı (scraper), güvenlik filtrelerini atlamak için kullanıcı aracısı dizesini Googlebot olarak gizler. İsteğin gerçekten bir Google sunucusundan kaynaklandığını doğrulamak için isteğin IP adresi üzerinde bir ters DNS araması (reverse DNS lookup) gerçekleştirmeniz gerekir. Bu doğrulama olmadan, tarama sıklığı analizinizi düşük kaliteli kazıyıcıların veya sitenizi kontrol eden rakiplerin gürültüsü çarpıtabilir.
Diğer bir sorun veri hacmidir. Daha büyük web siteleri için log dosyaları birkaç gün içinde gigabaytlar büyüklüğüne ulaşabilir. Bu kadar çok veriyi standart bir e-tablo uygulamasında işlemek nadiren mümkündür. Bunun yerine, verileri bir analiz platformuna aktarmadan önce filtrelemek için özel araçlar veya komut satırı yardımcı programları kullanın. Alien Road, girişlerin saf hacmi altında ezilmeden trendleri belirlemek için bir haftalık loglar gibi temsili bir veri örneklemine odaklanmanızı önerir.
Tarama bütçenizi nasıl optimize edersiniz?
Tarama bütçesi, bir arama motorunun belirli bir süre içinde sitenizde taradığı sayfa sayısını ifade eder. Büyük bir siteniz varsa, botun bu bütçeyi çöpe değil yüksek değerli sayfalara harcamasını sağlarsınız. Botun en çok zaman harcadığı sayfaları belirledikten sonra, bu sayfaların gerçekten gerekli olup olmadığını belirleyin. Değilse, onları robots.txt aracılığıyla engelleyin veya botun bu yerleri tekrar ziyaret etmesini durdurmak için meta robots noindex etiketleri uygulayın.
- Botun yüksek kaliteli içeriğinizi ziyaret etmesini sağlamak için ince sayfaları konsolide edin.
- Gerekli olmayan dizinlere veya arama sonuçlarına erişimi engellemek için robots.txt kullanın.
- Botu sayfalarınızın tercih edilen sürümüne yönlendirmek için kanonik etiketler uygulayın.
- Daha hızlı sayfalar botun daha kısa sürede daha fazla içerik taramasını sağladığından, sunucu yanıt sürelerini izleyin.
Bu hafta nereden başlamalı
Barındırma sağlayıcınızdan tam olarak yedi günlük sunucu logunu indirerek log dosyası analizinize başlayın. Googlebot girdilerini filtrelemek için bir metin düzenleyici veya log analizi aracı kullanın. Bu istekleri izole ettiğinizde, her benzersiz URL’nin kaç kez tarandığını saymak için bunları bir CSV formatına aktarın. Taranmakta olan en iyi 50 sayfaya bakın ve bunların gerçekte işletme gelirinizi artıran sayfalar olup olmadığını kendinize sorun. Liste alakasız veya yinelenen URL’lerle doluyse, teknik SEO iyileştirmesi için ilk alanınızı bulmuşsunuz demektir.
Son olarak, aynı zaman dilimi için sunucu hata loglarınızı gözden geçirin. Herhangi bir 5xx hatası tespit ederseniz, geliştiriciniz veya hosting destek ekibinizle hemen araştırın. Bu hatalar, arama motoru görünürlüğü için doğrudan bir bariyer görevi görür. Bu teknik engelleri ortadan kaldırarak ve taramayı yüksek değerli içeriğinize odaklayarak, sitenizin arama motorları için mümkün olduğunca erişilebilir ve verimli kalmasını sağlarsınız. Tutarlılık, uzun vadede sağlıklı bir tarama profili korumanın anahtarıdır.
Okumaya devam et: SEO (Arama Motoru Optimizasyonu) · SEO