Tarama istatistikleri

Tarama istatistikleri, robotun gerçekte ne yaptığının kaydıdır: hangi sayfaları, ne zaman getirdiği ve sunucunun ne yanıt verdiği. İndeksleme ile ilgili bir sorun göründüğünde açılacak ilk rapor budur; çünkü durumları değil, olayları tanımlar. Veriler, robotun ziyaretinden sonraki altı saat içinde günlük olarak güncellenir ve geçmişi 20 Şubat 2017 tarihine kadar uzanır.

İki görünüm

• Son değişiklikler — ziyaretler arasında HTTP yanıt kodu değişen sayfalar, 50.000 girişe kadar. Sınırlamaya dikkat edin: bir değişiklik yalnızca yanıt kodu değiştiğinde kaydedilir. Sabit bir 200 OK ile değişen içerik burada görünmez.
• Tüm sayfalar — robotun taradığı her şey; yine 50.000 ile sınırlı olup tarama tarihi, yol ve son yanıt kodunu içerir.

Her ikisi de tarih, URL parçası veya yanıt koduna göre filtrelenebilir ve XLS veya CSV formatında dışa aktarılabilir.

Eski ve Mevcut sütunları nasıl okunur

İlk kez yapılan bir tarama, Eski sütununda N/a, Mevcut sütununda ise yanıtı gösterir; veritabanına yüklendiğinde, sayfa bir sonraki indeks güncellemesinde sonuçlarda görünebilir. Yeniden tarama, önceki yanıtı mevcut olanla karşılaştırır; faydalı modeller burada ortaya çıkar: bir dizi URL’de 200 kodunun 404‘e dönüşmesi, bir şeyleri bozan bir dağıtımın işaretidir ve bu durum trafikte görünmeden günler önce burada fark edilebilir.

Silinen sayfalar neden taranmaya devam eder

Yandex, çoğu site sahibini şaşırtan bir davranışı şöyle açıklar: aramadan çıkarılan bir sayfa veritabanında kalır ve robot geri dönüp dönmediğini kontrol etmeye devam eder. Sayfaya giden bağlantılar var olduğu ve robots.txt bunu yasaklamadığı sürece robot sayfayı talep etmeye devam eder. Bu nedenle yıllar önce silinen URL’ler bu raporda görünmeye devam eder; robot, başka birinin sitesinde bir bağlantı bulmuştur. Tarama gerçekten istenmiyorsa, Disallow kuralı çözümdür; eğer URL’ler sadece eskiyse, gürültü dışında bir maliyetleri yoktur.

Bölüm düzeyinde analiz

Rapor, Yandex’in türettiği yapı kullanılarak bir site bölümüyle sınırlandırılabilir; bu yapının kendisi de bilgilendiricidir, çünkü konsolun bilmediği bir bölüm, robotun düzgün bir şekilde keşfetmediği bir bölümdür. Listede tamamen eksik olan sayfalar, yeniden indeksleme aracı aracılığıyla gönderilmelidir.

İzlenmesi gereken sayı

Bölüme göre tarama sıklığı. Eğer robot blogu günlük, ticari açıdan önemli bir kategoriyi ise aylık ziyaret ediyorsa, bu bir tarama bütçesi bulgusudur ve o kategorideki güncellemelerin neden etkisini göstermesinin haftalar sürdüğünü açıklar.