Çoğu site, aramalarda kimsenin bulmaması gereken sayfalar içerir: hizmet ve yönetim sayfaları, yalnızca oturum açmış kullanıcılar için yararlı olan ödeme ekranları ve profiller, taslaklar ve yer tutucular gibi. Yandex, bunları gizlemenin sadece bir düzenleme meselesi değil, bir sıralama sorunu olduğunu açıklıyor.
Bunları taranabilir bırakmanın üç maliyeti
- Bunların taranmasından kaynaklanan gereksiz site yükü.
- Robotun açılış sayfalarınıza ulaşması daha uzun sürer — tarama kapasitesi asla sıralamaya girmeyecek sayfalara harcanır.
- Eğer indekslenirlerse, önemli sayfalarınızla rekabet ederler ve kullanıcıların kafasını karıştırırlar.
Yandex, büyük sitelerde bu durumu acil kılan bir gözlem ekliyor: bu tür sayfaların sayısı, ziyaretçi çekmeye değer sayfaların sayısıyla kıyaslanabilir düzeydedir ve genellikle onları aşar.
Hangilerinin gerçekten tarandığını bulmak
Aranabilir sayfalar → Düşük değerli veya düşük talepli olarak filtrelenmiş hariç tutulan sayfalar. Yandex, bu listenin iki farklı şeyi içerdiğine dikkat çekiyor:
- Aramada yer almasını istediğiniz ancak iyileştirilmesi gereken sayfalar.
- Kullanıcılar için asla amaçlanmayan ancak robotun yine de bulduğu sayfalar — ki bunlar gizlenmelidir.
Listeyi bu ayrımı göz önünde bulundurarak okumak, kaygı verici bir raporu iki somut iş kalemine dönüştürür.
Bunlar nasıl gizlenir
Kullanılacak araç hedefe bağlıdır. robots.txt içindeki Disallow, taramayı durdurur ve kapasiteden tasarruf sağlar. noindex, robotun sayfayı okumasına izin verirken sonuçlarda görünmesini engeller. Yetkilendirme ise asla herkese açık olmaması gereken sayfalar için sorunu tamamen ortadan kaldırır. İkisi aynı URL üzerinde birleştirilmemelidir; engellenen bir sayfa okunamayacağı için noindex etiketi asla görülmez.
Pratik öncelik
Bir katalog sitesinde, en yüksek değerli hariç tutmalar; filtre ve sıralama kombinasyonları, dahili arama sonuçları ile sepet ve karşılaştırma sayfalarıdır. Tarama bütçesinin genellikle harcandığı yer bu gruptur ve bunları engellemek, yeni ürünlerin ne kadar hızlı görüneceği üzerinde ölçülebilir bir etkiye sahip, bir öğleden sonralık iştir.
Biz bunu nasıl uyguluyoruz
The two-lists reading of the low-value report is how we run this: half the entries are usually pages the client wants and needs to improve, the other half are pages nobody meant to publish. Separating them takes twenty minutes and produces a content plan and a robots.txt change instead of a vague worry about a large number.
İlgili hizmetler