Sunucu günlüğü analizi, Googlebot’un sitenizi öncelikle mobil mi yoksa masaüstü kullanıcı aracısı aracılığıyla mı ziyaret ettiğini belirler. Web sunucunuzda depolanan istek günlüklerini inceleyerek, bu iki tarayıcı türü arasında ayrım yapabilirsiniz. Bu süreç, arama motorlarının içeriğinizle nasıl etkileşime girdiğini anlamanıza ve sunucu yapılandırmanızın modern indeksleme gereksinimlerini destekleyip desteklemediğini doğrulamanıza yardımcı olur.
Bu istekleri izlemek, Google’ın site yapınızı nasıl yorumladığına dair net bir resim sunar. Mobil ve masaüstü hitleri arasında ayrım yaptığınızda, sayfalarınızın nasıl oluşturulduğundaki potansiyel tutarsızlıkları ortaya çıkarırsınız. Bu görünürlük, teknik gözden kaçırmaların görünürlüğünüzü etkilemesini önlediği için arama motorlarıyla sağlıklı bir ilişki sürdürmek için gereklidir.
SEO’da sunucu günlüklerinin rolü nedir?
Web sunucunuz, Googlebot’tan gelenler de dahil olmak üzere sitenize yapılan her isteğin kaydını tutar. Bu günlükler IP adresini, istek zamanını, HTTP durum kodunu ve kullanıcı aracısı dizesini içerir. Bu bilgileri ayrıştırarak, Googlebot’un tam olarak hangi sayfalara eriştiğini ve sitenize ne sıklıkla döndüğünü görürsünüz.
Günlük analizi olmadan, tarayıcının sitenizi nasıl deneyimlediği konusunda esasen kör uçuş yapıyorsunuz. Standart analiz araçları yalnızca kullanıcı tarafındaki olayları yakalar ve genellikle sunucu tarafındaki bot etkinliğini kaçırır. Ham sunucu günlüklerini inceleyerek, arama motorunun dijital varlıklarınıza bakış açısını tanımlayan ham verilere erişim kazanırsınız.
Örneğin, günlüklerinizdeki 5xx durum kodlarındaki ani bir artış, sunucunuzun eşzamanlı istekleri işlemekte zorlandığını gösterebilir. Bu, Googlebot’un yeni güncellemeleri indekslemesini engelleyen bir darboğaz yaratır. Günlük verilerini kullanarak, bu sorunların meydana geldiği tam anı belirleyebilir ve bunları sunucu yükü veya dağıtım değişiklikleriyle ilişkilendirebilirsiniz.
Mobil ve masaüstü Googlebot nasıl tanımlanır
Kullanıcı aracısı dizesi, tarayıcı türünü tanımlamak için birincil yöntemdir. Sürümler arasında ayrım yapmak için günlüklerinizdeki belirli belirteçleri aramalısınız. Kullanıcı aracısını tanımlamak, Google’ın alan adınız için mobil öncelikli indekslemeye öncelik verip vermediğini belirlemenize yardımcı olur.
- Genellikle tarayıcının masaüstü sürümünü belirten ‘Googlebot/2.1’i arayın.
- Mobil istekler için ‘Googlebot-Mobile’ veya Chrome tabanlı mobil kullanıcı aracısı dizesini arayın.
- İsteğin doğrulanmış bir Googlebot sunucusundan geldiğini doğrulamak için ters DNS araması kullanarak IP adresini kontrol edin.
- İçeriğinizi kazımaya çalışan kötü niyetli veya sahte botları gösterebilecek kullanıcı aracısı dizelerinin yokluğunu kontrol edin.
Bu dizeleri izole ettikten sonra, iki sürüm arasındaki istek hacmini karşılaştırabilirsiniz. Siteniz mobil uyumluysa ancak orantısız miktarda masaüstü tarama etkinliği gösteriyorsa, robots.txt veya site mimarinizi araştırmanız gerekebilir. Mobil tarayıcının birincil ziyaretçi olmasını sağlamak, modern siteler için standart bir hedeftir.
Neden tarayıcı davranışını izlemelisiniz?
İzleme, tarama tuzaklarını veya verimsiz istek desenlerini fark etmenizi sağlar. Siteniz önemsiz sayfalar için yüksek hacimli istekler alıyorsa, tarama bütçenizi boşa harcıyor olabilirsiniz. Googlebot sayfaları site kalitesine ve önemine göre önceliklendirir, ancak teknik sorunlar bu süreci engelleyebilir.
Site haritası, Google’ın sitenizdeki URL’leri keşfetmesi için önemli bir yoldur.
Google Search Central
Etkili izleme, Google’ın sitenizi ne sıklıkla ziyaret ettiğini de vurgular. Kararlı bir tarama sıklığı iyi bir işarettir, aşırı dalgalanmalar ise sunucunuzun ya tutarsız yanıtlar verdiğini ya da site yapınızın çok karmaşık olduğunu gösterebilir. Bu günlükleri düzenli olarak incelemek, bu değişimleri arama sıralamalarınızı etkilemeden önce yakalamanıza yardımcı olur.
Alien Road bu süreci nasıl uygular
Alien Road’da, Apache veya Nginx erişim dosyaları gibi sunucu ortamından ham günlükleri çıkararak başlıyoruz. Bu günlükleri, bilinen Googlebot IP aralıklarından gelen trafiği izole etmek için filtreliyoruz. Ardından, müşterilerimiz için tarama dağılımını değerlendirmek amacıyla istekleri mobil ve masaüstü kategorilerine ayırıyoruz.
- Veri Çıkarma: Kapsamlı bir görünüm için son 30 günlük sunucu günlüklerinin toplanması.
- Filtreleme: Googlebot’u izole etmek için dahili trafiğin, idari erişimin ve bot olmayan isteklerin kaldırılması.
- Kategorizasyon: Mobil ve masaüstü erişim arasındaki dengesizlikleri bulmak için isteklerin kullanıcı aracısına göre gruplandırılması.
- Raporlama: Sık sık yeniden tarama gerektirmeyen yüksek frekanslı sayfaların, göz ardı edilenlerle karşılaştırılarak tanımlanması.
Bu sistematik yaklaşım, somut öneriler sunmamızı sağlar. Örneğin, tarayıcının fasetli gezinme parametreleri döngüsünde sıkıştığını bulursak, kanonizasyon veya robots.txt yönergeleri öneririz. Amacımız, tarayıcının bütçesini tekrarlayan filtrelenmiş görünümler yerine en değerli sayfalarınıza harcamasını sağlamaktır.
Günlük analizi indeksleme sorunlarını nasıl çözebilir?
Günlük analizi, bir sayfanın neden indekslenmeyebileceğini tam olarak ortaya çıkarır. Günlük, Googlebot’un bir sayfa istediğini ve 404 veya 503 hatası aldığını gösteriyorsa, indeksleme başarısızlığı için doğrudan bir açıklamanız vardır. Bu, içeriğin arama sonuçlarında neden eksik olduğu hakkındaki tahminlere güvenmekten çok daha doğrudur.
Ayrıca, istekler arasındaki süreyi analiz etmek, sunucunuzun tarama gecikmesi ayarının çok kısıtlayıcı olup olmadığını gösterebilir. Uzun bir gecikme ayarladıysanız, Googlebot daha az sıklıkla ziyaret edecektir, bu da sık güncellemeleri olan siteler için zararlıdır. Bunu günlük verilerine göre ayarlayarak, tarayıcıdan daha sık ziyaretleri teşvik edebilirsiniz.
Bu hafta nereden başlamalı
Barındırma sağlayıcınızdan veya sunucu yöneticinizden sunucu günlüklerinizin bir örneğini isteyerek başlayın. Dosyayı bir elektronik tablo aracında açın veya Googlebot’tan gelen hit sayısını saymak için bir günlük analizi betiği kullanın. Verilere sahip olduğunuzda, tarayıcının zamanını en önemli yerlerde harcayıp harcamadığını görmek için istek hacmini en önemli sayfalarınızla karşılaştırın.
Verileri yönetilebilir hale getirmek için günlüklerinizin 7 günlük bir alt kümesiyle başlayın. En çok hit alan ilk 50 sayfayı belirleyin ve bunların gerçekten sıralanmasını istediğiniz sayfalar olup olmadığını kontrol edin. Arama sonuçları veya sepet sayfaları gibi gereksiz sayfaların ilk sıraları aldığını görürseniz, bu dikkati ana içeriğinize yönlendirmek için robots.txt dosyanızı iyileştirmenin zamanı gelmiştir.