Yandex kendi sürecini dört aşamada tanımlar; bir sorunun hangi aşamaya ait olduğunu bilmek, belirsiz bir şikayeti çözülebilir bir probleme dönüştürür.
1. Aşama — tarama
Robot hangi sitelerin, ne sıklıkla ve kaç sayfanın taranacağına karar verir. Bilinen sayfalar listesi; iç ve dış bağlantılardan, site haritasından, Yandex Metrica verilerinden ve robots.txt dosyasından gelir. 10 MB’tan büyük sayfalar dizine eklenmez.
Yanıt yönetimi nettir:
200 OK— tarandı.3XX— robot yönlendirme hedefini tarar.4XXve5XX— sayfa dahil edilmez ve eğer arama sonuçlarındaysa kaldırılır.
İşte faydalı bir ipucu: Bir sayfa CMS hatası nedeniyle geçici olarak bozulursa, sunucuyu bunun yerine 429 yanıtı verecek şekilde yapılandırın. Robot kodu kontrol eder ve sayfayı düşürmez. Ancak sürekli 429 yanıtı, Yandex’e sunucunun zorlandığını bildirir ve tarama hızını düşürür; bu nedenle bu bir ayar değil, geçici bir çözümdür.
HTTP/2 desteklenir — daha hızlı yükleme ve daha düşük sunucu yükü sağlar; ancak Yandex, bunun tarama sıklığını veya sıralamayı değiştirmediğini ve HTTP/1.1’in çalışmaya devam ettiğini açıkça belirtir.
2. Aşama — dizine ekleme
Robot içeriği analiz eder ve depolar: description meta etiketi, title, snippet için Schema.org işaretlemesi; sayfayı dışarıda tutan noindex yönergesi; bir grup için tercih edilen adresi belirten rel="canonical"; ve metin, görseller ve videolar. İçerik sayfalar arasında eşleştiğinde, bunlar kopya olarak kabul edilir.
3. ve 4. Aşamalar
Aramaya uygun sayfaların bulunduğu bir veritabanı oluşturulur ve sonuçlar buradan üretilir. Sonuçlar düzenli olarak güncellenir ve bu güncellemeler, sitede hiçbir değişiklik olmasa bile sitenin konumunu değiştirebilir; bu da “sıralamamız düştü ve hiçbir şey değişmedi” şeklindeki çoğu sorunun doğru cevabıdır.
Model neden önemli?
Her aşamanın kendi teşhisi vardır. Taranmadıysa bu bir bağlantı, site haritası veya erişilebilirlik sorunudur. Tarandı ancak dizine eklenmediyse bu bir yönerge, kopya içerik veya kalite sorunudur. Dizine eklendi ancak sıralamaya girmediyse bu bir alaka düzeyi sorunudur. Yanlış aşama üzerinde çalışmak, teknik SEO’daki en maliyetli hatadır ve bu sayfa, bu hatayı önleyen haritadır.
Biz bunu nasıl uyguluyoruz
The 429 behaviour is the practical gift here: during a CMS incident it keeps pages in the index instead of letting them be dropped for 5XX responses, which turns a two-hour outage into a non-event rather than a two-week recovery. We put it in the incident runbook for every client with a fragile stack — and we take it out again once the incident ends, because sustained 429 costs crawl rate.
İlgili hizmetler