Site indeksleme

Yandex’in indeksleme kılavuzu, belirli teknik limitlere sahip bir kontrol listesidir; ezberlenmesi gereken kısım bu limitlerdir.

Kurulum adımları

1. Siteyi Yandex Webmaster’a ekleyin.
2. Tarama önceliğini de belirtebilen bir sitemap gönderin; böylece robota hangi sayfaların sık güncellendiğini söyleyerek planlamasını buna göre yapmasını sağlayın.
3. robots.txt dosyasını yapılandırın: Teknik ve düşük değerli bölümler için Disallow, önemsiz CGI parametreleri için Clean-param kullanın. Yandex, oturum tanımlayıcıları için hata modunu açıkça belirtir: İçeriği aynı olan ancak teknik olarak farklı görünen URL’ler çok sayıdaysa, robot faydalı içerikleri indirmek yerine bunları indeksler.

Sert limitler

• 10 MB üzerindeki belgeler indekslenmez.
• Çok sayıda CGI parametresi, derin iç içe dizinler veya aşırı uzun URL’ler indekslemeyi engelleyebilir.
• PDF’ler: Sadece metin kısmı indekslenir. Resim olarak işlenen metinler indekslenmez; bu da taranmış broşürleri ve görsel tabanlı katalogları görünmez kılar.
• Open Office XML ve OpenDocument formatları indekslenir, ancak yeni formatlara verilen destek gecikebilir.
• .swf dosyaları doğrudan bağlantı verildiğinde veya object ya da embed ile gömüldüğünde indekslenir; Flash dosyası içindeki içerik, robotu tekrar kapsayıcı HTML belgesine yönlendirebilir.
• frameset ve frame içeriği indekslenir ve kaynak belge, çerçeve içeriklerinden tanımlanır.

Sunucu tarafındaki iki gereklilik

• Var olmayan URL’ler 404 döndürmelidir. Arama motoru bu yanıtı aldığında belgeyi indeksten kaldırır; soft-404 hatalarının silinen sayfaları süresiz olarak indekste tutmasının nedeni budur. İndekslenmesi gereken her şey 200 OK yanıtı döndürmelidir.
• HTTP başlıkları doğru olmalıdır. Yandex, If-Modified-Since yanıtına özel bir önem verir: Last-Modified başlığı, belgenin gerçek değişiklik tarihini taşımalıdır. Bu konuda yanıltıcı olan (her sayfa için güncel zamanı döndüren) bir sunucu, değişmemiş içeriklerin tekrar indirilmesine neden olur ve tarama kapasitesini boşa harcar.

Pratik öncelikler

Buradaki tüm maddeler arasında, gerçek sitelerde en çok faydayı sağlayan iki unsur şunlardır: doğru 404 yönetimi ve çalışan koşullu yanıtlarla dürüst bir Last-Modified kullanımı. Her ikisi de sunucu yapılandırmasıyla ilgilidir, tarayıcıda görünmezler ve genellikle hatalı yapılandırılırlar.