Robot, sayfaları bağlantıları takip ederek bulur. Yandex, sonucun altını yumuşatmadan net bir şekilde belirtir: kendisine işaret eden bağlantısı olmayan bir belge asla keşfedilmeyecek ve aramada görmezden gelinecektir. Dolayısıyla yapı, estetik bir mesele değildir.
Altı kural
- Net bir bağlantı yapısı koruyun. Her belge bir bölüme aittir ve gerçek bir
<a href>bağlantısı aracılığıyla ulaşılabilir olmalıdır. Yandex, planlama yaparken dikkate değer bir gerçeği ekler: indeksleme süresi kısmen iç içe geçme derinliğine bağlıdır; bir sayfa ne kadar derindeyse, dahil edilmesi o kadar uzun sürebilir. Ayrıca çoğu ziyaretçi ana sayfadan giriş yapar, çünkü bir alan adını hatırlamak dahili bir URL’yi hatırlamaktan daha kolaydır. - Robotun belgeleri bulmasına ve analiz etmesine yardımcı olmak için büyük projelerde site haritası kullanın.
- Teknik sayfaların indekslenmesini kısıtlayın. Kopyalar, dahili arama sonuçları, istatistik sayfaları; Yandex bunun neden önemli olduğunu tam olarak açıklar: bu tür sayfalar sürekli eklenip güncellendiğinden, önemli bilgiler içeren sayfalar gözden kaçarken bunlar sık sık taranır. Bu, arama motorunun kendi ifadeleriyle tarama bütçesi argümanıdır.
- Her sayfaya benzersiz, açıklayıcı bir URL verin. Transliterasyon, robotun konuyu anlamasına yardımcı olur; verilen örnek, iyi yapılandırılmış bir URL’nin sayfa henüz getirilmeden önce ne kadar çok şey ilettiğini gösterir.
- Robotun içeriklerini öğrenmesi için bölümlere metin bağlantıları sağlayın.
- URL’lerin sonsuza kadar uzamaması için sembolik bağlantıları (symlinks) kontrol edin. Tekrarlanan belirteçlere sahip sayfalar —
example.com/vasya/vasya/vasya/— hiç indekslenmeyebilir. Bu, yanlış yönetilen bir şablondaki göreceli bağlantıların yarattığı klasik sonsuz alan tuzağıdır.
Kodlama detayı
Sayfalar ve Kiril alfabesiyle yazılmış URL’ler için aynı kodlamayı kullanın. Robot, UTF-8 bir sayfada href="/корзина" bulduğunda bağlantıyı bu kodlamada saklar, bu nedenle sayfaya yüzde kodlamalı eşdeğeriyle ulaşılabilmelidir. Buradaki bir uyumsuzluk, tarayıcıda çalışan ancak robot için 404 hatası veren bağlantılar üretir.
Bununla ne yapmalı
Herhangi bir sitede şu üç şeyi kontrol edin: indekslenmeye değer her sayfaya düz bir bağlantıyla ulaşılabilir olduğundan, önemli hiçbir şeyin üç veya dört seviyeden daha derinde olmadığından ve filtre ile arama URL’lerinin hariç tutulduğundan emin olun. Bu üç madde, bu sayfanın açıkladıklarının ve yanlış giden çoğu şeyin büyük kısmını kapsar.
Biz bunu nasıl uyguluyoruz
The rule we act on first is the third one, because Yandex explains the mechanism so clearly: technical pages change constantly, so they attract the crawler while the pages that matter wait. On large catalogues, blocking filter and internal-search URLs measurably speeds up how quickly new products appear. The infinite-URL symlink trap is rarer but brutal — we test for it by requesting a deliberately repeated path and checking the response is a 404 rather than a page.
İlgili hizmetler