Mobil Taranabilirlik: Baiduspider için robots.txt Yapılandırması

Baiduspider için robots.txt yapılandırması; masaüstü Baiduspider ve Baiduspider-Mobile dahil olmak üzere Baidu’nun otomatik arama tarayıcılarını erişilebilir site yollarına yönlendirirken gizli dizinleri ve istenmeyen URL parametrelerini engeller. Doğru dosya kurulumu; Baidu’nun beklenmeyen erişim engelleriyle karşılaşmadan veya değerli sunucu tarama bütçesini boşa harcamadan mobil web sayfalarınızı verimli bir şekilde keşfetmesini, işlemesini (render) ve dizine eklemesini sağlar.

Baiduspider, mobil tarama için robots.txt dosyasını nasıl işler?

Baidu, masaüstü ve mobil arama dizine ekleme operasyonları için farklı user-agent tanımlayıcıları kullanır. Birincil mobil arama tarayıcısı Baiduspider-Mobile olarak tanımlanırken standart masaüstü motoru Baiduspider’ı kullanır. Bir arama botu ne zaman bir web sunucusunu ziyaret etse, herhangi bir belge veya şablon kaynağını getirmeden önce /robots.txt adresindeki kök robots.txt dosyasını kontrol eder. Sunucunuz standart bir 404 HTTP durum kodu döndürürse, Baidu hiçbir erişim kısıtlamasının olmadığını varsayar ve sunucunuzdaki tüm erişilebilir yolları taramaya devam eder.

Ancak, web sunucusu robots.txt isteği sırasında 5xx HTTP sunucu hatası döndürürse, Baiduspider sunucu aşırı yüklenmesini önlemek için tüm sunucudaki taramayı geçici olarak durdurur. Bu güvenlik duraklaması, dizin güncellemelerini birkaç gün boyunca engelleyebilir. Bu nedenle, talimat dosyanız için güvenilir, hızlı bir 200 durumu korumak tutarlı mobil dizine ekleme için esastır.

Baidu, mobil kullanılabilirliği otomatik işleme motorları aracılığıyla değerlendirdiğinden, Disallow komutları aracılığıyla CSS, JavaScript veya medya varlıklarını engellemek tarayıcının gerçek sayfa düzenini değerlendirmesini engeller. Baiduspider-Mobile stil dosyalarını yükleyemediğinde, biçimlendirilmemiş bir metin belgesi görür. Bu durum, yanlış yazı tipi boyutu veya eksik ilk ekran içeriği gibi açılış sayfası deneyimi kontrollerinde sıklıkla otomatik hatalara yol açar.

Sitelerin tarama bütçesinden tasarruf etmek için robots.txt’de JavaScript dizinlerini yanlışlıkla engellediğini, ancak Baiduspider-Mobile’ın işleme hataları nedeniyle sayfalarını yok saydığını sıklıkla görüyoruz. İşleme varlıklarına tam erişime izin vermek, Baidu’nun mobil uyumluluk standardını geçmek için çok önemlidir.

Alien Road SEO Ekibi

Baiduspider-Mobile için User-agent kurallarını ayırmalı mısınız?

Bireysel arama botları için hedeflenmiş kurallar oluşturmak, web yöneticilerine sunucu erişimi üzerinde hassas kontrol sağlar. Standart yapılandırmalarda, User-agent: Baiduspider altında yönergeler belirlemek kuralları hem masaüstü hem de mobil arama tarayıcılarına aynı anda uygular. Bununla birlikte, User-agent: Baiduspider-Mobile kullanmak, altyapınız mobil ve masaüstü kaynaklarını farklı dizinlerde veya alt etki alanlarında (subdomain) ayırıyorsa özel talimatlar sunmanıza açıkça olanak tanır.

Ayrı mobil URL mimarileri için (m.example.com gibi), özel mobil etki alanı kendi bağımsız dosyasını kök yolda barındırmalıdır. Ana masaüstü etki alanında bir mobil yolu engellemek, Baiduspider-Mobile’ın aynı yolu mobil alt etki alanında istemesini engellemez. Her etki alanı sunucusu kendi kök yapılandırma dosyasını bağımsız olarak değerlendirir.

• Masaüstü ve mobil tarayıcılara eşit şekilde uygulanan geniş erişim kuralları için User-agent: Baiduspider kullanın.
• Hücresel tabanlı özel betikler veya düzen dosyaları için benzersiz tarama yolları uygularken User-agent: Baiduspider-Mobile belirtin.
• m.example.com gibi ayrı ana bilgisayar adlarının erişilebilir, özel bir kök yapılandırma dosyasına sahip olmasını sağlayın.
• Genel User-agent: * blokları ile belirli Baiduspider yönergeleri arasında çakışan Disallow kurallarından kaçının.

Mobil Baidu kurulumlarında en sık görülen robots.txt hataları nelerdir?

Mobil tarama yönetiminde sık yapılan bir hata, mobil oturum takibini, filtre seçimlerini veya dil seçeneklerini yöneten dinamik URL parametrelerini engellemektir. Baiduspider-Mobile, parametre tabanlı bir URL üzerinde bir Disallow kuralıyla karşılaştığında, sayfayı alamaz veya HTML başlığında bulunan herhangi bir mobil adaptasyon meta etiketini işleyemez. Bu, PC ve mobil URL’ler arasındaki ilişkiyi bozarak Baidu’nun bunları ayrı, birbiriyle rekabet eden belgeler olarak değerlendirmesine neden olur.

Bir diğer sık görülen hata, mobil düzen doğrulaması için gereken kaynak dosyalarının engellenmesini içerir. Baidu’nun yayınlanan mobil kriterlerine göre, gövde metni 10pt veya daha büyük kalmalı, satır yüksekliği yazı tipi boyutuna göre 1.4 oranının üzerinde bir oranı korumalı ve ana içerik ilk ekranın %50’sinden fazlasını kaplamalıdır. robots.txt dosyanız harici CSS veya düzen betiklerini engelliyorsa, Baiduspider ekran kapsamını veya tipografi ölçeğini doğru bir şekilde hesaplayamaz.

• İlk ekranın işlenmesi (rendering) ve görünüm alanı (viewport) ölçek hesaplaması için gereken CSS veya JS dosyalarının engellenmesi.
• Ayrı URL kurulumlarında mobil adaptasyon hedeflerinin veya yönlendirilmiş hedef yolların yasaklanması.
• Temiz bir 200 veya 404 yanıtı yerine robots.txt uç noktasında 500 dahili sunucu hatası döndürülmesi.
• Aşama (staging) ortamlarını veya dahili aramayı engellemeye çalışırken ana içerik dizinlerinin kazara engellenmesi.
• Baidu tarayıcıları tarafından tanınmayan, desteklenmeyen regex kalıplarının veya özel joker karakter sözdiziminin kullanılması.

Baiduspider erişimini kontrol etmek için anahtar sözdizimi yönergeleri

Baidu; User-agent, Allow, Disallow ve Sitemap beyanları dahil olmak üzere standart tarama kontrolü yönergelerini destekler. Baiduspider’ın kalıp eşleştirmesini nasıl yorumladığını anlamak, karmaşık site mimarilerinde kazara hariç tutmaların önlenmesine yardımcı olur.

Baiduspider, dolar işareti ($) dize sonu karakterini ve yıldız (*) joker karakterini tanır. Baidu’nun ayrıştırıcısındaki kalıp önceliği genellikle genel kalıplara göre en spesifik kuralı destekler. Bir Allow yönergesi ve bir Disallow yönergesi aynı karakter uzunluklarını paylaştığında, Baiduspider Allow kuralına öncelik verir. Sözdiziminizi net ve öz tutmak, beklenmeyen tarayıcı davranışını en aza indirir.

XML site haritanızın konumunu robots.txt dosyası içinde beyan etmeniz de önerilir. Dosyanın en altına Sitemap: https://example.com/sitemap.xml gibi satırlar eklemek, Baiduspider’a temiz URL listelerine doğrudan bir yol sağlayarak yeni yayınlanan mobil sayfaların daha hızlı keşfedilmesini kolaylaştırır.

Çok bölgeli web sitelerini denetlerken; standart etiketlerin (canonical), mobil adaptasyon beyanlarının ve robots.txt yönergelerinin uyum içinde çalışmasını sağlıyoruz. Yanlış yapılandırılmış tek bir Disallow kuralı, aylarca süren mobil içerik optimizasyonu çalışmasını boşa çıkarabilir.

Alien Road SEO Ekibi

Alien Road, Baiduspider için robots.txt yapılandırmasını nasıl uygular

Alien Road olarak ekibimiz; Baidu arama projeleri için tarama talimatlarını denetlemek, yapılandırmak ve izlemek üzere yapılandırılmış bir ajans protokolü izler. Müşteri web siteleri için optimum mobil performansı korumak amacıyla teknik tarama analizini doğrudan daha geniş büyüme iş akışlarına entegre ediyoruz.

Tipik bir çalışmada ekibimiz ilk teknik keşif aşamasıyla başlar. Baiduspider ve Baiduspider-Mobile’ın mevcut robots.txt kurallarıyla nasıl etkileşime girdiğini gözlemlemek için sunucu erişim günlüklerini (log) analiz ederiz. /robots.txt için HTTP durum yanıtlarının temiz 200 kodları döndürdüğünü doğrular ve kritik işleme varlıklarının tarayıcılara tamamen açık kalmasını onaylarız.

Teknik kurulum aşamasında, müşterinin mimarisine göre uyarlanmış özelleştirilmiş kural setleri tasarlarız. Duyarlı (responsive) web siteleri için User-agent: Baiduspider altında birleştirilmiş kuralları koruruz. Ayrı mobil sunucu yapıları için hem masaüstü hem de mobil etki alanlarında özel yapılandırma dosyaları oluştururuz. Ayrıca, ilk URL keşfini hızlandırmak için site haritası URL’lerini açıkça beyan ederiz.

Ölçüm ve doğrulama için uzmanlarımız, Baidu Search Resource Platform’daki teknik araçları kullanarak tarama yanıtlarını test eder. Güncellenmiş yapılandırma dosyalarını gönderir, tarama hatası raporlarını takip eder ve birkaç haftalık bir izleme penceresi boyunca dizin durumunu gözden geçiririz. Bu aşama, yeni kuralların istenmeyen hariç tutmalar yaratmadan geçmiş tarama bloklarını çözdüğünü doğrular.

Son olarak, devam eden raporlama sırasında, tarama hızı trendlerinin yanı sıra mobil açılış sayfası geçiş oranlarını izleriz. Ekibimiz, Baiduspider’ın isteklerini yüksek değerli, dizine eklenebilir mobil açılış sayfalarına odakladığını doğrulamak için düzenli tarama bütçesi sağlık kontrolleri sağlar.

Baidu taranabilirliğiniz ile bu hafta nereden başlamalısınız

Sitenizin Baiduspider ve Baiduspider-Mobile için tamamen taranabilir kalmasını sağlamak için mevcut canlı robots.txt dosyanızı gözden geçirerek başlayın. /robots.txt yolu için HTTP durum yanıtlarının, aralıklı ağ geçidi hataları veya sunucu zaman aşımı olmadan güvenilir bir 200 durum kodu döndürdüğünü doğrulamak için sunucu günlüklerinizi kontrol edin.

Ardından, ana mobil sayfa şablonlarınızı engelleme listenize (disallow list) göre inceleyin. İlk ekranı işlemek için gereken temel CSS, JS ve resim varlıklarının taramaya açık olduğunu onaylayın. Bu temel öğeleri hemen ele almak, mobil dizine ekleme durumunuzu korur ve Baidu’daki sürdürülebilir arama performansını destekler.