Baiduspider robots.txt protokolü, Baidu’nun web tarayıcısına bir web sitesinin hangi alanlarının indekslenmesi veya göz ardı edilmesi gerektiğini bildirmek için kullanılan standart iletişim yöntemidir. Kök dizine bir metin dosyası yerleştirerek web yöneticileri, tarayıcının başka herhangi bir sayfayı ziyaret etmeden önce okuduğu net talimatlar sağlar. Bu kurulum, sunucu kaynaklarını yönetmeye yardımcı olur ve düşük değerli dizinlerin etki alanınıza ayrılan tarama bütçesini boşa harcamamasını sağlar.
Baiduspider robots.txt dosyanızı nasıl işler?
Baiduspider, example.com/robots.txt gibi etki alanınızın üst düzey dizininde robots.txt dosyasını arar. Dosya eksikse, tarayıcı sitenin erişilebilir tüm bölümlerini ziyaret etme iznine sahip olduğunu varsayar. Standart Robot Hariç Tutma Protokolü’nü izler ancak dosya kontrol sıklığı ile ilgili belirli davranışlara sahiptir. Genellikle tarayıcı talimatları belirli bir süre için önbelleğe alır, yani yaptığınız değişiklikler anında görülmeyebilir.
İşlemi hızlandırmak için Baidu Search Resource Platform’u kullanarak motoru bir güncelleme hakkında bilgilendirebilirsiniz. Platform, geçerli olup olmadığını doğrulamak için kodunuzu yapıştırabileceğiniz ‘Robots.txt Analysis’ adlı bir araç içerir. Bu araç, Baiduspider’ın kurallarınızı tam olarak nasıl yorumladığını gösterir. Özellikle site yapısı değişiklikleri yaptıktan veya yeni bir sunucuya taşındıktan sonra bunu düzenli olarak kontrol etmek iyi bir uygulamadır.
Baiduspider robots.txt protokolü için temel yönergeler nelerdir?
Baidu, küresel arama motorları tarafından kullanılan en yaygın yönergeleri destekler, ancak bunlara öncelik verme biçimi biraz farklı olabilir. Asıl amaç, tarayıcının en iyi içeriğinizi bulması için net bir yol sağlarken onu yönetici panellerinden, arama sonucu sayfalarından veya oturum kimliklerinden uzak tutmaktır. Net kurallar, motorun site haritanızı ve hiyerarşinizi daha hızlı anlamasına yardımcı olur.
- User-agent: Baiduspider: Bu satır, web araması için özellikle ana Baidu tarayıcısını hedefler.
- Disallow: /admin/: Bu kural, tarayıcının arka uç klasörlerinize erişmesini ve bunları indekslemesini engeller.
- Allow: /static/admin/: Üst klasör engellenmiş olsa bile belirli alt klasörleri açmak için bunu kullanın.
- Sitemap: https://example.com/sitemap.xml: Bu, daha hızlı keşif için Baiduspider’a tam URL listenizi nerede bulacağını söyler.
- Joker karakterler (*): Bunlar, dinamik sorgular için soru işaretleri içerenler gibi URL gruplarını engellemenize olanak tanır.
Baidu ayrıca dize sonu çapasını ($) destekler. Bu, belirli dosya türlerini engellemek istediğinizde çok yararlıdır. Örneğin, Baiduspider’ın PDF dosyalarınızı indekslemesini istemiyorsanız, .pdf ile biten URL’leri hedefleyen bir kural kullanabilirsiniz. Bu kontrol düzeyi, çok sayıda teknik belge veya özel kaynak barındıran siteler için çok önemlidir.
Baidu SEO için tarama bütçesi yönetimi neden hayati önem taşır?
Tarama bütçesi, Baiduspider’ın belirli bir zaman dilimi içinde sitenizde ziyaret edeceği sayfa sayısıdır. Sitenizde filtre sonuçları veya yinelenen ürün görünümleri gibi binlerce düşük kaliteli sayfa varsa, tarayıcı tüm enerjisini orada harcayabilir. Bu, yeni blog yazılarımızın veya ürün güncellemelerimizin bulunması için yer bırakmaz. robots.txt’yi doğru kullanarak tarayıcınızı sitenizin en değerli bölümlerine yönlendirirsiniz.
Tarayıcının zamanının %80’ini SEO değeri olmayan arama filtresi sayfalarında geçirdiği siteleri sıklıkla görüyoruz. robots.txt dosyasını düzeltmek, bu enerjiyi gerçekte satış sağlayan sayfalara yönlendirmenin en hızlı yoludur.
Alien Road SEO ekibi
Alien Road, Baiduspider robots.txt protokolünü nasıl uygular?
Alien Road, istemci siteleri için Baiduspider erişimini yönetmek üzere ayrıntılı bir süreç izler. Keşif aşamasında, Baiduspider’ın dahili arama sonuçları veya oturum kimlikleri gibi düşük değerli URL’lerde zaman geçirip geçirmediğini belirlemek için sunucu erişim günlüklerini analiz ederiz. Bu, herhangi bir değişiklik yapmadan önce canlı sitede tarayıcının gerçek davranışını görmemize yardımcı olur.
Kurulum aşaması için, önemli açılış sayfalarını açık tutarken bu yollar için belirli Disallow kuralları kullanan özel bir robots.txt dosyası oluşturuyoruz. Dahası, farklı URL yapıları kullanıyorlarsa sitenin mobil ve masaüstü sürümlerinin doğru şekilde işlenmesini sağlıyoruz. Ölçüm, tarama sıklığını izlemek ve yeni kurallardan kaynaklanabilecek tarama hatalarını kontrol etmek için Baidu Search Resource Platform’un kullanılmasını içerir.
Son olarak, müşteriye tarama bütçesinin yüksek öncelikli ticari sayfalara doğru nasıl kaydığını gösterdiğimiz bir raporlama aşaması sunuyoruz. Örneğin, bir e-ticaret markası için tipik bir hesapta, tarama yoğun etiket sayfalarını bloke ettikten sonra yeni ürünler için indeksleme oranının %30 arttığını görebiliriz. Bu, müşterinin pazarlama bütçesinin alakasız içeriği indekslemek için harcanmamasını sağlar.
Doğrulama için Baidu Search Resource Platform’un kullanılması
Doğrulama sürecimizde önemli bir adımdır. Her kod satırını test etmek için resmi aracı kullanıyoruz. Bir kural çok genişse, Baiduspider’ın sayfayı doğru şekilde oluşturması için ihtiyaç duyduğu CSS veya JavaScript dosyalarını engelleyebilir. Tarayıcının açık tutmayı amaçladığımız 404 hatalarına veya engellenmiş yollara çarpmadığından emin olmak için ‘Crawl Statistics’ raporunu düzenli olarak kontrol ediyoruz. Bu veriye dayalı yaklaşım siteyi sağlıklı tutar.
Belirli Baidu alt tarayıcılarını engelleyebilir misiniz?
Baidu, farklı içerik türleri için farklı tarayıcılar kullanır. Genel Baiduspider web sayfalarını işlerken, diğer aracılar görseller, videolar veya mobil kullanıma özel içerik arar. Diğerlerine izin verirken birini engellemeyi seçebilirsiniz. Bu, görsellerinizin aramada görünmesini istiyorsanız ancak sayfaların kendisini gizli tutmak istiyorsanız veya tam tersi durumlarda kullanışlıdır.
- Baiduspider-image: Baidu Görsel Arama için görsellerin indekslenmesine odaklanır.
- Baiduspider-video: Video arama motoru için özellikle video içeriğini tarar.
- Baiduspider-mobile: Mobil kullanıma uygun standartları karşıladıklarından emin olmak için mobil kullanıma özel sayfaların taranmasını yönetir.
- Baiduspider-news: Baidu Haberler bölümündeki içeriği indekslemek için kullanılır.
Ek olarak, bu belirli aracarları bilmek daha iyi kontrol sağlar. Sunucunuz yüksek trafikle mücadele ediyorsa, ana web tarayıcısı için bant genişliği tasarrufu sağlamak üzere görsel tarayıcısını geçici olarak engellemeyi seçebilirsiniz. Bu esneklik, tüm arama görünürlüğünü kaybetmeden yoğun trafik dönemlerinde site performansını korumaya yardımcı olur.
Alt tarayıcıların seçici olarak engellenmesi, yüksek trafikli siteler için yararlı bir taktikdir. Çin’deki kullanıcılar için en önemli web içeriğinin görünür kalmasını sağlarken sunucu kararlılığını korumamıza olanak tanır.
Alien Road SEO ekibi
Baiduspider robots.txt yapılandırmasında yapılan yaygın hatalar
Yaygın bir hata, sayfa oluşturma için gereken kaynakları engellemektir. Baiduspider geniş bir Disallow kuralı nedeniyle JavaScript veya CSS dosyalarınıza erişemezse, boş bir sayfa görebilir. Bu, motor içeriği doğrulayamadığı için zayıf sıralamalara yol açar. ‘Allow’ kurallarınızın sitenizin görsel ve işlevsel varlıklarını içeren klasörleri kapsadığından her zaman emin olun.
Başka bir hata dosya konumu veya adıyla ilgilidir. Dosya tamamen küçük harflerle ‘robots.txt’ olarak adlandırılmalı ve kök dizinde yer almalıdır. Örneğin, bir Shopify mağazasının düzenlenmesi zor olan varsayılan bir robots.txt dosyası olabilir. Bu gibi durumlarda, hangi sayfaların gerçekten engellendiğini kontrol etmek için platformun araçlarını kullanmak esastır. Dosya /blog/robots.txt gibi bir alt klasöre yerleştirilirse, Baiduspider bunu tamamen yok sayacaktır.
Bu hafta nereden başlamalı
‘Crawl Management’ menüsü altında Robots aracını bulmak için Baidu Search Resource Platform hesabınıza giriş yaparak başlayın. Mevcut robots.txt dosyanızın doğru şekilde algılandığını ve hiçbir kritik sayfanın yanlışlıkla engellenmediğini doğrulayın. Dahili arama sayfaları gibi arama sonuçlarında olmaması gereken sayfalar tespit ederseniz, bu yollar için hemen bir engelleme kuralı ekleyin.
Ardından, dosyanızı güncelleyin ve değişikliği Baidu’ya bildirmek için platformu kullanın. Tarayıcının yeni talimatları izlediğinden emin olmak için önümüzdeki yedi gün boyunca sitenizin indeksleme durumunu izleyin. Motorun artık yüksek öncelikli sayfalarınızda daha fazla zaman geçirip geçirmediğini görmek için tarama sıklığı raporlarınızı kontrol edin. Düzenli izleme, erişim kontrolü stratejinizin SEO hedeflerinizle uyumlu kalmasını sağlar.