Yandex bot tarama sorunları, arama motoru robotu web sitesi sayfalarınızı başarıyla indiremediğinde veya yorumlayamadığında ortaya çıkar. Bu hatalar genellikle sunucu bağlantı sorunları, DNS hataları veya 10 MB belge boyutu sınırı gibi teknik limitlerin aşılmasından kaynaklanır. Bu sorunları çözmek için robots.txt dosyanızı doğrulamalı, sunucunuzun geçerli bir 200 OK durumu döndürdüğünden emin olmalı ve site haritası dosyalarınızı 50 MB boyut sınırında tutmalısınız.
Yandex Bot neden sayfalarıma erişemiyor?
Erişim sorunlarını düzeltmenin ilk adımı, hatanın indirme aşamasında gerçekleşip gerçekleşmediğini belirlemektir. İndirme hatası, robotun belgeyi hiç almadığı anlamına gelir. Bu genellikle sunucu tarafında bir sorundur. Örneğin, DNS ayarlarınız yanlışsa, robot sunucunuzu hiç bulamaz. Benzer şekilde, bağlantı kesilirse veya hiç kurulmazsa, bot URL’yi ulaşılamaz olarak işaretleyecektir.
İndirme hatalarının bir diğer yaygın nedeni robots.txt dosyasıdır. Belirli dizinleri engellediyseniz, bot bu kurallara saygı duyacak ve sayfaları atlayacaktır. Sunucunun yanlış bir HTTP yanıtı veya boş bir yanıt döndürmesi de mümkündür. Bazı durumlarda, bir güvenlik duvarı Yandex IP aralığını engelleyebilir ve bu da raporlarınızda sunucu çökmesi gibi görünen bir bağlantı hatasına yol açar.
Yaygın site haritası hataları ve bunları düzeltme yolları
Site haritaları, robotun içeriğinizi bulmasına yardımcı olmak için gereklidir, ancak katı kuralları vardır. Bir site haritası getirilemiyorsa, bu bir sunucu sorunudur. Getiriliyor ancak ayrıştırılamıyorsa, bu bir oluşturucu sorunudur. Site haritanızın 50 MB dosya boyutu sınırını aşıp aşmadığını veya 50.000’den fazla URL içerip içermediğini kontrol etmelisiniz. Siteniz bundan daha büyükse, dosyayı bölmeli ve bir site haritası dizin dosyası kullanmalısınız.
- HTTP hatası: Sunucu 200 dışında bir durum döndürdü.
- Bağlantı kesildi veya başarısız oldu: Robot indirmeyi tamamlayamadı.
- DNS hatası: Alan adı bir IP adresine çözülemedi.
- Gzip çıkarma hatası: Sıkıştırılmış site haritası dosyası bozuk.
- URL robots.txt içinde yasaklanmış: Site haritasının kendisi kurallarınız tarafından engellenmiş.
Otomatik eklentiler tarafından genellikle göz ardı edilen özel bir kural, dizin eşleştirme kuralıdır. Bir alt klasörde bulunan bir site haritası, yalnızca o klasörden veya alt klasörlerinden gelen URL’leri listeleyebilir. Örneğin, /site haritası/products.xml adresindeki bir dosya, example.com/blog/article gibi bir URL’yi listeleyemez. Bu, site haritalarını kök dizinden taşırken yapılan yaygın bir hatadır. Ayrıca, dosya UTF-8 kodlamasını kullanmalı ve uyarıları önlemek için standart bir XML bildirimi ile başlamalıdır.
Gördüğümüz en sık karşılaşılan sorunlardan biri site haritası dizin kısıtlamasıdır. Birçok CMS eklentisi site haritalarını özel bir klasöre yerleştirir ancak tüm siteyi indekslemeye çalışır. Yandex bu konuda çok katıdır; site haritası kökte değilse, daha üst düzey klasörlerdeki URL’leri doğrulayamaz.
Alien Road SEO ekibi
Alien Road Yandex sorun gidermeyi nasıl uygular
Tipik bir çalışmada ekibimiz, ‘Tarama İstatistikleri’ raporuna erişmek için siteyi Yandex Webmaster’da doğrulayarak başlar. 200 olmayan durum kodlarının yüksek frekansını ararız. Shopify gibi bir platformda büyük bir e-ticaret mağazası işleten bir müşteri için, genellikle dahili arama sonucu sayfalarının gereksiz yere tarandığını ve bunun tarama bütçesini boşa harcadığını tespit ederiz. Robotu yüksek değerli ürün sayfalarına odaklamak için robots.txt dosyasında katı Disallow kuralları uygularız.
Sürecimiz, belge boyutlarının kapsamlı bir kontrolünü içerir. Yandex’in tekil sayfalar için 10 MB sınırı olduğundan, indeksleme sırasında kesilebilecek ağır sayfaları tanımlarız. Ayrıca ‘Site haritası dosyaları’ bölümünü ayrıştırma hataları için izleriz. Bir dizin uyuşmazlığı tespit edersek, site haritasını köke taşırız veya dizin dosyası yapısını ayarlarız. Bu uygulamalı yaklaşım, robotun zamanını teknik engellere çarpmak yerine geçerli, indekslenebilir içeriğe harcamasını sağlar.
HTTP başlıklarınız Yandex için çok mu uzun?
Tarama sorunlarının alışılmadık ancak sık görülen bir nedeni HTTP başlıklarının uzunluğudur. Yandex, çok fazla çerezin bir sayfanın getirilememesine neden olabileceğini açıkça belirtir. Modern tarayıcılar büyük başlık bloklarını işleyebilse de, arama robotunun maksimum bir HTTP başlık uzunluğu vardır. Siteniz birden fazla izleme pikseli, onay platformları ve biriken oturum çerezleri kullanıyorsa, başlık bu sınırı aşabilir.
Bunu düzeltmek için her istekle gönderilen çerezleri denetlemelisiniz. Belirli çerezler ilk sayfa yüklemesi için gerekli değilse, kapsamlarını sınırlamayı veya sunucu tarafı depolama kullanmayı düşünün. Bu, robotun temiz bir yanıt almasını sağlar. Ayrıca, Content-Length başlığını kontrol etmelisiniz. Beyan edilen boyut, aktarılan gerçek veriden büyükse, robot geçersiz mesaj uzunluğu hatası bildirecektir.
Çerez şişmesi, arama görünürlüğü için sessiz bir katildir. Bir etiket yöneticisi bir isteğe düzinelerce çerez eklediğinde, HTTP başlığı birkaç kilobayta kadar büyüyebilir. Yandex bot, sayfa size iyi görünse bile bunu geçersiz bir başlık olarak kabul ettiği için indirmeyi durdurabilir.
Alien Road SEO ekibi
Ana belge işleme hataları nelerdir?
İşleme hataları, robot sayfayı başarıyla indirdikten sonra gerçekleşir. Sayfa 10 MB’tan büyükse, robot okumayı durdurur, bu da eksik indekslemeye yol açabilir. Bir diğer sorun, 1.024 bayt olan maksimum URL uzunluğudur. Bu hem alanı hem de yolu içerir. Siteniz çok uzun izleme parametreleri veya derinlemesine iç içe geçmiş klasörler kullanıyorsa, bot bu URL’leri tamamen görmezden gelebilir.
- Noindex meta etiketi: Robot, sayfayı indekslememesini söyleyen bir etiket buldu.
- Yanlış kodlama: Sayfadaki karakterler beyan edilen karakter setiyle eşleşmiyor.
- Sunucu günlüğü tanıma: Sayfa yapısı çok fazla ham günlük dosyasına benziyor.
- Desteklenmeyen belge formatı: Dosya türü, Yandex’in indeksleyebileceği formatlar arasında değil.
- Geçersiz veri miktarı: Aktarım, tam belge gönderilmeden önce sona erdi.
İçeriğiniz bir sunucu günlüğü olarak tanınırsa, düzeni değiştirmelisiniz. Zaman damgaları veya IP adresleri içeren basit metin listelerinden oluşan sayfalar yüksek risklidir. İçerik olmayan dosyalar olarak yanlış tanımlanmamak için sayfalarınızın standart etiketlerle net bir HTML yapısına sahip olduğundan emin olun.
Bu hafta nereden başlamalı
Yandex ile konumunuzu iyileştirmek için web yöneticisi panelinizdeki ‘İndeksleme’ bölümünü kontrol ederek başlayın. ‘HTTP hatası’ veya ‘Bağlantı hatası’ ile işaretlenmiş URL’leri arayın. Site haritası hataları bulursanız, hiçbir dosyanın 50 MB’ı geçmediğini ve listelenen tüm URL’lerin doğru dizine ait olduğunu doğrulayın. Son olarak, çerezlerinizin erişimi engellemediğinden emin olmak için birkaç sayfayı başlık boyutu açısından test edin. Bu sağlam, pratik adımlar, sitenizin robot için tamamen erişilebilir olmasını sağlamaya yardımcı olacaktır.