robots.txt ve Baiduspider

Baiduspider, tarama yapmadan önce alan adının kök dizinindeki robots.txt dosyasını kontrol eder. Söz dizimi standart protokolü takip eder; aşağıdaki detaylar, Baidu’nun diğer arama motorlarından farklılaştığı veya daha net olduğu noktalardır.

Çoğu sitenin yanlış yaptığı kural

Baidu bunu açıkça belirtir: her şeyin indekslenmesini istiyorsanız, hiç robots.txt dosyası oluşturmayın. Dosya yalnızca hariç tutmak için vardır. Boş veya mevcut olmayan bir dosya, siteyi tamamen açık bırakır; bu, çoğu site için doğru yapılandırmadır ve insanların yarım yamalak hatırladıkları şablonlarla değiştirdikleri şeydir.

Engellemek, kaldırmak değildir

robots.txt içinde engellenen bir sayfa, diğer siteler ona bağlantı verdiğinde Baidu sonuçlarında yine de görünebilir. İçeriği taranmaz, indekslenmez veya görüntülenmez; görünen şey, diğer sitelerin onun hakkındaki açıklamasıdır. Engelleme taramayı kontrol eder; varlığı kontrol etmez.

Yönerge hassasiyeti

• Disallow: /help ifadesi /help.html, /helpabc.html ve /help/index.html sayfalarını engeller.
• Disallow: /help/ ifadesi yalnızca /help/index.html sayfasını engeller; ilk ikisi taranabilir kalır.
• Boş bir Disallow: her şeye izin verir; geçerli bir dosyada en az bir Disallow kaydı bulunması zorunludur.
• Sıralama önemlidir: robot, eşleşen ilk Allow veya Disallow satırını uygular. Bu, diğer arama motorlarının kullandığı “en uzun eşleşme” kuralı değildir ve Google için yazılmış bir dosya burada farklı davranabilir.
• Joker karakterler: * herhangi bir diziyi, $ satır sonunu eşleştirir.
• Eşleştirme büyük/küçük harfe duyarlıdır ve kesindir. Baidu, büyük/küçük harf uyumsuzluğunun kuralı etkisiz hale getirdiği konusunda uyarır.

Baidu’ya özgü meta yönergeleri

• <meta name="robots" content="nofollow"> — bağlantıları takip etme veya değer aktarma; <meta name="Baiduspider" content="nofollow"> bunu yalnızca Baidu ile kısıtlar.
• <meta name="robots" content="noarchive"> — önbellek anlık görüntüsü alma; yalnızca Baidu’ya özgü biçimi <meta name="Baiduspider" content="noarchive"> şeklindedir. noarchive’in yalnızca anlık görüntüyü engellediğini unutmayın; sayfa yine de indekslenir ve bir özetle gösterilir.
• rel="nofollow" ile bağlantı bazlı kontrol desteklenir.

Gerçek Baiduspider’ı tanımlama

Baidu, IP aralıklarını yayınlamaz; bu aralıklar değişir. Doğrulama, kullanıcı aracısı (user agent) ve ters DNS sorgusu ile yapılır. mobil, PC ve mini-program olmak üzere üç kullanıcı aracısı ailesi vardır ve render işlemleri için Baiduspider-render varyantları bulunur. IP üzerinden engelleme desteklenen bir strateji değildir; önce kullanıcı aracısını kontrol edip DNS ile doğrulamak desteklenen yöntemdir.