Sunucu Günlük Dosyalarında Googlebot Tarama Anomalilerini Çözme

Sunucu log dosyaları, barındırma altyapınıza yapılan her bir HTTP isteğini kaydeder. Çalıştırılan JavaScript etiketlerine güvenen istemci tarafı analitik araçlarının aksine erişim logları, görseller, statik varlıklar ve render edilmemiş HTML sayfaları için yapılanlar dahil olmak üzere her isteğin ham gerçeğini gösterir.

Tarama anomalisi, Googlebot ziyaret düzeni beklenen site yapısından saptığında gerçekleşir. Yaygın örnekler arasında 500 dahili sunucu hatalarındaki ani artışlar, yönlü (faceted) navigasyon URL’lerine yapılan tekrarlayan hitler veya varlık render etme sırasında düşen bağlantılar yer alır. Bu anomaliler devam ettiğinde arama motorları sunucu çökmelerini önlemek için tarama sıklığını azaltır ve yeni veya gözden geçirilmiş içerikler için indeks güncellemelerini geciktirir.

Durum kodu uyuşmazlıkları genellikle geçişlerden, URL yeniden yapılandırmasından veya yanlış yapılandırılmış web sunucusu yönlendirme kurallarından sonra ortaya çıkar. Yaygın bir sorun, eski bir URL’in nihai konumuna ulaşmadan önce birkaç adımdan geçtiği bir yönlendirme zinciridir. Her adım gecikmeyi artırır ve tarayıcı kaynaklarını tüketir.

Bir 301 yönlendirmesi, trafiği bir URL’den diğerine kalıcı olarak taşıyan ve sıralama otoritesini tek bir hedefte etkili bir şekilde birleştiren sunucu tarafı bir talimat olarak hizmet eder.

Google Search Central

Bu sunucu talimatları başarısız olduğunda, arama motorları temiz yanıtlar yerine 404, 502 veya 503 kodları alır. Bir sunucu eksik içeriği gösteren bir sayfa için HTTP 200 OK üst bilgisi döndürdüğünde loglarda Soft 404’ler de görünebilir. Erişim kayıtlarındaki durum kodlarını incelemek, sunucunuzun farklı üst bilgiler altında aynı içeriği sunup sunmadığını veya hatalı yönlendirmelerle tarayıcıları yanıltıp yanıltmadığını ortaya çıkarır.

Herkes ‘Googlebot’ okuyan bir kullanıcı aracı dizesiyle otomatik bir komut dosyası yapılandırabilir. Yalnızca kullanıcı aracı dizelerine güvenmek yanıltıcı denetim sonuçları üretir ve otantik tarayıcı davranışını kötü niyetli kazıyıcıların (scraper) arkasına gizler.

Bir log girdisinin otantik bir Google tarayıcısına ait olduğunu onaylamak için ters DNS araması ve ardından ileri yönlü arama gerçekleştirin. Bu iki adımlı doğrulama, talep eden IP adresinin Google’a ait yetkili bir etki alanına çözümlenmesini sağlar.

• Ana bilgisayar adının googlebot.com veya google.com ile bittiğini doğrulamak için host komutunu kullanarak günlüğe kaydedilen IP adresi üzerinde bir ters DNS araması çalıştırın.
• Tam ilk IP adresine geri eşlendiğini doğrulamak için host komutunu kullanarak ortaya çıkan ana bilgisayar adı üzerinde ileri yönlü bir DNS araması gerçekleştirin.
• Googlebot ve özel tarayıcılar için Google’ın öffentlich yayınlanan JSON IP aralıklarına karşı IP adresini çapraz referanslayın.
• Tarama sıklığını veya tarama bütçesi metriklerini hesaplamadan önce analitik veri kümelerinizden sahte IP adreslerini filtreleyin.

Arama motorları, sunucu yükü kapasitesine ve içerik talebine dayalı olarak her web sitesine sonlu bir tarama oranı atar. Googlebot ziyaretlerini önemli olmayan URL’lere harcadığında yeni ürünler veya değerli makaleler haftalarca ziyaret edilmeden kalır. Erişim loglarını analiz etmek, bu faaliyetin sunucu kapasitesini tam olarak nerede tükettiğini belirlemeye yardımcı olur.

Düzenli log dosyası denetimleri sırasında bu yaygın israf kalıplarına dikkat edin:

• Yönlü navigasyon döngüleri: Neredeyse kopya sayfalar döndüren milyonlarca kombinasyon oluşturan filtre, sıralama ve arama parametreleri.
• URL’lerdeki oturum tanımlayıcıları (session identifier): Aynı temel belge için benzersiz URL’ler üreten dahili bağlantılara eklenen izleme parametreleri.
• Dahili yönlendirme zincirleri: Googlebot’un mevcut hedefe inmeden önce birkaç 301 veya 302 sıçramasını tetikleyen eski URL’leri talep etmesi.
• Sıkıştırılmamış veya ağır statik varlıklar: Sunucu yanıt sürelerini yavaşlatan şişirilmiş JSON dosyaları, optimize edilmemiş SVG’ler veya dinamik CSS dosyaları için aşırı istekler.
• Sonda slash (eğik çizgi) uyumsuzlukları: Uygun kanonikleştirme veya sunucu yönlendirmeleri olmadan hem slash’li hem de slash’siz URL yollarında kopya içerik sunulması.

Tek sayfalık altyapılar (SPA) üzerine inşa edilmiş modern web uygulamaları, kaynak yükleme zamanlamasını sıklıkla değiştirir. Bir uygulama tarayıcıya çıplak bir HTML kabuğu teslim ettiğinde, tarayıcı Belge Nesne Modeli’ni (DOM) oluşturmak için JavaScript paketlerini, asenkron JSON uç noktalarını ve harici stil sayfalarını talep etmelidir.

Ham sunucu loglarında bu davranış, tek bir HTML isabetinden sonra hızlı bir varlık isteği patlaması olarak görünür. API sunucunuz yavaş yanıt verirse veya oran sınırlama hataları (HTTP 429) ürettiyse, tarayıcı logları başarısız varlık getirmelerini gösterir. Bu başarısızlıklar eksik render etmeye yol açar; bu da kaçırılmış bağlantılara, indekslenmemiş metne veya eksik yapılandırılmış verilere neden olabilir.

Mühendislik ekibimiz sunucu log denetimine sistematik bir dört aşamalı operasyonel çerçeve aracılığıyla yaklaşır. Varsayımlardan kaçınırız ve teknik önerileri tamamen doğrulanmış sunucu tarafı kanıtlarına dayandırırız.

Keşif, log alımı ile başlar. Apache, Nginx veya Cloudflare ve Amazon CloudFront gibi bulut dağıtım katmanlarından ham log arşivlerini toplarız. Satırları zaman damgaları, istemci IP adresleri, HTTP istek yöntemleri, yanıt durum kodları, gönderilen baytlar ve kullanıcı aracı dizeleri içeren yapılandırılmış tablolara ayrıştırırız.

Kurulum, otomatize edilmiş IP doğrulamasını içerir. İşleme hattımız, yayınlanan ASN aralıklarını ve DNS kayıtlarını çapraz referanslayarak sahte tarayıcıları eler. Ardından, botun hangi kanonik URL’leri ziyaret ettiğini ve hangi URL’leri yok saydığını görmek için doğrulanmış Googlebot hitlerini XML site haritalarına karşı eşleriz.

Ölçüm, sayfa şablonları genelinde tarama sıklığını izler. Sunucunun bot isteklerine ne kadar hızlı yanıt verdiğini değerlendirir, dizin başına ilk bayta kadar geçen ortalama süreyi hesaplarız. Örneğin, on binlerce ürünü olan bir çevrimiçi mağazada, ürün güncellemelerinin hızlı tarama ilgisi görüp görmediğini veya terk edilmiş kategori arşivlerinin arkasında sıkışıp kalmadığını izleriz.

Raporlama, eyleme geçirilebilir geliştirici biletleri sağlar. Muğlak öneriler yerine kesin URL listeleri, Nginx veya Apache için sunucu yapılandırma kod parçacıkları ve üst bilgi ayarlama talimatları sunarız. Bu iş akışı yönlendirme adımlarını ortadan kaldırır, tarama tuzaklarını temizler ve indekslemenin mevcut site içeriğini yansımasını sağlar.

Barındırma kontrol panelinizden veya bulut depolama alanınızdan son yedi güne ait erişim loglarını indirerek başlayın. Sunucu günlüğü biçiminizin istemci IP’sini, yanıt süresini ve tam yönlendiren yolunu yakaladığını doğrulayın.

Ardından, veri kümenizi doğrulanmış Googlebot istekleri için filtreleyin ve durum kodu dağılımlarını hesaplayın. 4xx ve 5xx yanıtları toplam tarayıcı isteklerinin yüzde 5’inden fazlasını oluşturuyorsa, bu URL’lere acil onarım için öncelik verin. Dahili bağlantıları doğrudan hedefe işaret edecek şekilde güncelleyerek 301 yönlendirme zincirlerini ele alın ve robots.txt dosyanızın işe yaramaz sorgu parametrelerini tarama kuyruğuna girmeden önce bloke ettiğini doğrulayın.