Robots.txt crawl budget optimizasyonu, indeksleme verimliliğini maksimuma çıkarmak için arama motoru örümceklerinin sitenin belirli bölümlerine erişimini yönetme sürecidir. Büyük e-ticaret siteleri genellikle filtreler, sıralama seçenekleri ve oturum kimlikleri tarafından oluşturulan ve arama kullanıcıları için hiçbir değer sağlamayan milyonlarca URL’ye sahiptir. Bu yolları engellemek için robots.txt dosyasını kullanarak, Yandex botlarını kaynakları gereksiz verilere harcamak yerine benzersiz ürün açıklamalarına ve ana kategori sayfalarına yönlendirirsiniz. Bu yöntem, sunucu aşırı yüklenmesini önler ve yeni ürünlerin arama sonuçlarında görünme hızını artırır.
Büyük mağazalar için crawl budget neden önemlidir?
Crawl budget, bir arama motoru botunun belirli bir zaman dilimi içinde sitenizde taramaya karar verdiği toplam sayfa sayısıdır. Devasa bir çevrimiçi katalog için bu bütçe, dikkatle yönetilmesi gereken sınırlı bir kaynaktır. Yandex tüm ziyaretini düşük kaliteli filtre kombinasyonlarını taramaya harcarsa, en yeni gelenlere veya güncellenmiş fiyat listelerine asla ulaşamayabilir. Bu, arama sonuçlarında eski verilerin kalmasına ve satış fırsatlarının kaçırılmasına yol açar.
Yandex bu bütçeyi, alan adınızın otoritesi ve sunucunuzun hızı dahil olmak üzere birkaç faktöre dayanarak belirler. Sunucu yavaş yanıt verdiğinde, bot sitenin çökmesini önlemek için tarama hızını otomatik olarak düşürür. Bu nedenle, hızlı bir sunucu yanıtı sürdürmek, metin dosyalarınıza yazdığınız kurallar kadar önemlidir. Dinamik olarak oluşturulmuş binlerce parametreye sahip bir site, otomatik örümcekler uygun kontrol olmadan her olası permütasyonu talep ederse, barındırma kapasitesini hızla tüketebilir.
Büyük e-ticaret katalogları için robots.txt nasıl yapılandırılır?
Yandex odaklı bir site için robots.txt dosyası spesifik olmalıdır. Birçok motor genel kuralları takip etse de, Yandex karmaşık URL yapılarını yönetmeye yardımcı olan benzersiz direktifleri destekler. En önemli adım, hangi dizinlerin tamamen işlevsel olduğunu ve hangilerinin indekslenebilir içerik içerdiğini belirlemektir. İdari klasörler, dahili arama sonuçları ve kullanıcı hesabı sayfaları her zaman kısıtlanmalıdır.
Disallow direktifini kullanmak, botların belirli yollara girmesini durdurmanın standart yoludur. Ancak e-ticaret için mantık genellikle klasörlerden ziyade parametrelerle ilgilidir. Fiyat aralıkları, renkler veya boyutlara göre binlerce varyasyon oluşturan bir kategori sayfanız olabilir. Ana kategori sayfasının hala indekslenmesini istiyorsanız, bunları standart Disallow kurallarıyla engellemek zor olabilir. İşte burada daha gelişmiş bir mantık gerekli hale gelir.
- User-agent: Yandex – Özel kurallar için ilgili botu hedefleyerek başlayın.
- Disallow: /admin/ – Backend sistemlerini gizli tutun ve crawl kaynaklarından tasarruf edin.
- Disallow: /search/ – Dahili arama sonuçları sayfalarının indekslenmesini önleyin.
- Disallow: /*?*sort= – Yinelenen içerik oluşturan sıralama parametrelerini engelleyin.
- Clean-param: ref / – İzleme kimliklerini göz ardı etmek için bu Yandex’e özgü direktifi kullanın.
- Sitemap: https://example.com/sitemap.xml – Daha hızlı keşif için her zaman haritanızı işaret edin.
Yandex gereksiz URL parametrelerini nasıl ele alır?
Yandex, sayfa içeriğini değiştirmeyen parametreler içeren URL’leri işlemek için Clean-param adlı özel bir araç sağlar. Bu, oturum kimlikleri, yönlendirme etiketleri ve bazı sıralama filtreleri ile yaygındır. URL’yi tamamen engellemek yerine, Clean-param bota birkaç farklı URL’yi tek bir adres olarak ele almasını söyler. Bu, crawl budget’ı birleştirmek için oldukça etkili bir yoldur.
Örneğin, ürün sayfanıza ‘product-123’ ve ‘product-123?from=newsletter’ aracılığıyla ulaşılabiliyorsa, bot iki farklı sayfa görür. Clean-param direktifinde ‘from’ tanımlayarak, Yandex’e bunların aynı olduğunu bildirirsiniz. Bu, botun aynı içeriği iki kez indirmesini önler. Ayrıca bağlantı ağırlığını ana URL üzerinde yoğunlaştırmaya yardımcı olur, bu da arama sonuçlarındaki konumunu iyileştirebilir.
Crawl budget’ı yönetmek içeriği gizlemekle ilgili değil, sunucu enerjisini en karlı sayfalar için önceliklendirmekle ilgilidir. Tipik bir sitede, crawl budget’ın yüzde 30’unun genellikle haftalar önce temizlenmesi gereken oturum kimliklerine harcandığını görüyoruz.
Alien Road SEO ekibi
Alien Road robots.txt optimizasyonunu nasıl uygular
Ekibimiz her projeye Yandex Webmaster kullanarak mevcut indeksleme durumunun ayrıntılı bir analizi ile başlar. Hangi URL’lerin şu anda ilk 50 sonuçta göründüğünü görmek için ‘Tüm sorgular’ grubuna bakarız. Bunların birçoğunun arama sonuçları sayfaları veya benzersiz içeriği olmayan filtrelenmiş listeler olduğunu tespit edersek, bunları hariç tutulmak üzere işaretleriz. Bu, 1.000 sorgu limiti olan ‘Kaydedilen’ grubunun çöp değil, yüksek niyetli ticari ifadelerle doldurulmasını sağlar.
İstanbul’daki bir e-ticaret müşterisi için tipik bir çalışmada, 10.000 gerçek ürünü olan bir sitenin 200.000’den fazla indekslenmiş URL’si olduğunu görebiliriz. Bu boşluk büyük bir kaynak israfına işaret eder. Tüm sayfayı engellemeden izleme parametrelerini yönetmek için Clean-param direktifini kullanan özel bir robots.txt dosyası hazırlarız. Ardından 7 günlük bir süre boyunca ‘Özet göstergeleri’ni — gösterimler, tıklamalar ve konum — izleriz. Bu izleme, ana sayfalara giden trafiğin sabit kalmasını sağlarken, taranan toplam URL sayısının sağlıklı bir seviyeye düşmesine yardımcı olur.
Robots.txt dosyasının sınırları nelerdir?
Robots.txt’nin bir sayfayı indeksten hemen kaldıracağını düşünmek yaygın bir hatadır. Botun sayfayı taramasını durdursa da, o sayfanın çok sayıda harici bağlantısı varsa, arama sonuçlarında hala ‘yalnızca bağlantı’ girişi olarak görünebilir. Bir sayfayı tamamen kaldırmak için ‘noindex’ etiketi veya 404 durum kodu genellikle daha iyidir. Robots.txt mutlak silme için değil, verimlilik için bir araçtır.
Ayrıca, robots.txt dosyasının kendi dosya boyutunun sınırları vardır. Yandex genellikle dosyanın ilk 512 KB’ını işler. Dosyanız bundan büyükse, bot alttaki kuralları görmezden gelebilir. Karmaşık kurallara sahip çok büyük siteler için her bir URL’yi listelemek yerine joker karakterler ve desenler kullanmak daha iyidir. Dosyayı basit ve temiz tutmak, tüm arama botlarının talimatları hatasız okumasını ve takip etmesini sağlar.
- Yandex Webmaster’da ‘Tüm sorgular’ bölümü altında mevcut indekslenmiş URL’leri denetleyin.
- Clean-param kullanımı için sayfa içeriğini değiştirmeyen parametreleri tanımlayın.
- Hangi düşük değerli URL’lerin en sık istendiğini görmek için sunucu günlüklerini kontrol edin.
- Webmaster panelindeki doğrulama aracını kullanarak yeni robots.txt kurallarını test edin.
- Bot tarama yükünün gecikmeye neden olmadığından emin olmak için sunucu yanıt sürelerini izleyin.
- Ticari açıdan önemli sayfaların performansını takip etmek için ‘Kaydedilen’ sorgu grubunu gözden geçirin.
Filtre yönetimi ve sunucu yanıtı kontrol uygulamaları
Yandex bot tarama yükünü sunucu yanıtı kontrol uygulamaları aracılığıyla azaltmak, sadece klasörleri engellemekten daha fazlasını içerir. Web sunucunuzu doğru durum kodlarını döndürecek şekilde yapılandırmalısınız. Bir ürün kalıcı olarak stokta yoksa, 404 veya 410 kodu döndürmek bota o URL’yi ziyaret etmeyi bırakmasını söyler. Bu, aktif ürünler için bütçeyi serbest bırakır. Sunucu ‘Sayfa Bulunamadı’ hatası için 200 OK kodu döndürürse, bot geri gelmeye devam edecek ve değerli zamanı boşa harcayacaktır.
Tipik bir e-ticaret senaryosunda, dinamik olarak oluşturulmuş binlerce filtre parametresine sahip bir çevrimiçi mağaza, sunucu kapasitesini hızla tüketebilir. Her istek veritabanı bağlantılarını ve CPU döngülerini tüketir. Bu kaynaklar otomatik örümcekler tarafından tüketilirse, gerçek insan alışverişçiler yavaş yükleme süreleri yaşayacak ve bu da terk edilmiş sepetlere yol açacaktır. Güçlü altyapı planlaması, bu otomatik isteklerin uygulama katmanınızla nasıl etkileşime girdiğini anlamayı gerektirir.
İndekslemede verimlilik, yeni envanter için sıralama iyileştirmelerini görmenin genellikle en hızlı yoludur. Bot 40.000 ölü filtre sayfasına vurmayı bıraktığında, yeni gelenlerinizi haftalar yerine saatler içinde bulur.
Alien Road SEO ekibi
Teknik SEO denetiminiz için acil eylemler
Bu hafta, tarama günlüklerinizi indirerek ve bunları en çok satan ürünlerinizle karşılaştırarak başlayın. Yandex botunun eski promosyon etiketlerine veya fiyat sıralama filtrelerine, çok satanlarınızdan daha fazla zaman harcadığını görürseniz, robots.txt dosyanızı güncelleme zamanı gelmiştir. Herhangi bir izleme kimliği için Clean-param direktifini kullanın ve site haritanızın güncel olduğundan emin olun. Bu değişikliklerin ortalama tıklama oranınızı ve ortalama konumunuzu nasıl etkilediğini görmek için Webmaster ‘Özet göstergeleri’ni günlük olarak izleyin.
Alien Road, bu kontrolü ayda bir kez, özellikle yeni ürün grupları ekledikten veya site yapınızı değiştirdikten sonra yapmanızı önerir. Crawl budget’ın tutarlı yönetimi, sitenizin sağlıklı, hızlı ve satın almaya hazır müşteriler için görünür kalmasını sağlar.