Faset navigasyonu için Yandex tarama bütçesi optimizasyonu, arama botlarının sonsuz filtre kombinasyonları üzerinde istek harcamasını önlemek için robots.txt direktiflerinin, parametre işleme kurallarının ve iç bağlantı kontrollerinin stratejik kullanımını içerir. Binlerce ürüne sahip büyük e-ticaret platformlarında, yönetilmeyen filtreler mevcut sunucu kapasitesini hızla tüketen milyonlarca kopya URL oluşturur, bu da gerçek müşteriler için yanıt sürelerini yavaşlatır ve genel arama görünürlüğünü düşürür.
Büyük e-ticaret siteleri için bot hızı kontrolü neden önemlidir?
Arama motoru botları, özellikle büyük bir site haritası güncellemesinden veya kategori yeniden yapılandırmasından sonra büyük web sitelerinde dakikada binlerce istek oluşturabilir. Hız limitleri olmadan, bu hızlı istekler bellek ve CPU çekirdeklerini tüketerek gerçek müşteriler için çok az kapasite bırakır. Bu ani kaynak sıçraması genellikle web sunucunuzu yavaşlatır veya yoğun trafik saatlerinde alışveriş oturumlarını kesintiye uğratan zaman aşımı hatalarını tetikler.
Doğru hız kontrolü, devasa ürün katalogları veya büyük makale arşivleri aynı anda birden fazla bot tarafından analiz edilirken bile barındırma ortamınızın kararlı kalmasını sağlar. Güvenli bir duraklama aralığı yapılandırmak, temel mimarinize iş parçacığı havuzlarını temizlemek, geçici önbellek dosyaları yazmak ve sinir bozucu bağlantı kopmaları veya veritabanı kilitlenmeleri yaşamadan insan ziyaretçilere hizmet vermek için zaman tanır.
Örneğin, beden, renk ve kumaş filtreleri için karmaşık veritabanı sorguları çalıştıran bir çevrimiçi giyim perakendecisi, elli paralel bot iş parçacığı aynı anda bu URL’lere erişirse ciddi gecikme yaşayabilir. Sıkı bir hız kontrolü uygulamak, bu performans darboğazlarını önler ve sunucu yanıt metriklerini kabul edilebilir performans eşikleri içinde tutar.
Faset navigasyonu sunucu kaynaklarını nasıl tüketir?
Kullanıcılar bir kategori sayfasında marka, renk, beden ve fiyat aralığı gibi birden fazla filtre seçtiğinde, e-ticaret platformu her olası permütasyon için benzersiz URL dizeleri oluşturur. Otomatik botlar bu bağlantıları sistematik olarak izler ve genellikle arama sonuçları için çok az veya hiç benzersiz içerik değeri olmayan derin parametre kombinasyonlarını tarar, böylece değerli sunucu kaynaklarını tekrarlayan render işlemleriyle boşa harcar.
- Sıralama ve filtreleme permütasyonları yoluyla sonsuz URL üretimi.
- Dinamik sayfa oluşturma nedeniyle artan veritabanı sorgu yükü.
- Düşük değerli parametre sayfaları arasında iç bağlantı sermayesinin seyreltilmesi.
- Yeni eklenen temel ürün envanterinin geç keşfedilmesi.
Arama botları her farklı URL kombinasyonunu ayrı bir belge olarak ele aldığından, yönetilmeyen fasetler indeks şişmesine yol açar. Bu, arama motorlarının sınırlı günlük tahsislerini yeni güncellenmiş ürün detaylarını veya birincil kategori sayfalarını keşfetmek yerine düşük seviyeli filtre sayfalarını tarayarak harcadıkları anlamına gelir.
Çevrimiçi perakende müşterileri için sunucu erişim günlüklerini sık sık inceliyoruz ve bot isteklerinin yarısından fazlasının ana kategori sayfaları yerine küçük parametre varyasyonlarına harcandığını fark ediyoruz. robots.txt’de net kurallar belirlemek, bu israfı durdurmanın en hızlı yoludur.
Alien Road SEO ekibi
İndeksleme kontrolü için robots.txt ve Crawl-delay nasıl yapılandırılır
Crawl-delay direktifi, bir arama robotunun ardışık sayfa istekleri arasında beklemesi gereken saniye cinsinden zaman aralığını belirtmek için robots.txt dosyası içinde kullanılan bir komuttur. Bu değeri ayarlayarak, web yöneticileri otomatik indeksleyicilerin yoğun trafik saatlerinde sınırlı sunucu donanımını bunaltmasını önleyebilir ve yüksek hacimli tarama aşamalarında site kararlılığını koruyabilir.
Hız direktiflerine ek olarak, robots.txt kurallarını web yöneticisi panellerindeki URL parametre araçlarıyla birleştirmek, motorların hangi parametrelerin ana içeriği değiştirdiğini ve hangilerinin yalnızca görüntüleme sırasını veya sıralamayı değiştirdiğini anlamasına yardımcı olur. ‘sort’, ‘dir’ veya ‘session_id’ gibi parametreler için açık kurallar belirlemek, tarayıcıya önemsiz varyantları tamamen görmezden gelmesini söyler.
Filtrelenmiş kategori görünümlerinde kanonik etiketlerin kullanılması bu kuralları daha da güçlendirir. Parametre yüklü URL’leri temiz kategori köküne yönlendirerek, kullanıcı navigasyon işlevselliğini korurken arama botlarını sayfanın kesin sürümüne yönlendirirsiniz.
Tarama yönetimi ile birlikte yapılandırılmış veri doğrulama neden kullanılmalıdır?
Yapılandırılmış veri doğrulayıcı, site sahiplerinin anlamsal işaretlemelerinin doğruluğunu kontrol etmelerini sağlayan web yöneticisi arayüzlerindeki özel bir teknik araçtır. Kodu Schema.org gibi desteklenen standartlara göre kontrol ederek, araç zengin snippet’lerin arama sonuçlarında görünmesini engelleyebilecek sözdizimi hatalarını ve eksik zorunlu alanları tanımlar, her bot ziyaretinin geçerli veri noktaları üretmesini sağlar.
- Sayfalar tamamen indekslenmeden önce sözdizimi hatalarını algılar.
- Ürün fiyatlarının ve stok durumlarının arama snippet’lerinde doğru görünmesini sağlar.
- Bozuk veya analiz edilemez mikro veriler üzerinde tarama bütçesinin israfını önler.
- Zenginleştirilmiş arama listelerini görüntüleyen kullanıcılardan gelen tıklama oranlarını iyileştirir.
Arama motorları temiz mikro verileri işlediğinde, ürün listelerini daha verimli bir şekilde analiz ederler. Geliştirme döngüsünün başlarında doğrulama hatalarını düzeltmek, botların hatalı biçimlendirilmiş JSON-LD veya mikro veri bloklarında takılıp kalmasını önler ve sistem kaynaklarını gerçek sayfa içeriğinin alınması için korur.
Teknik hijyen, tarama bütçesi yönetimi ile el ele gider. Yapılandırılmış veriler temiz olduğunda, robotlar hatalı sözdizimini analiz etmeye daha az zaman harcar ve değerli ticari sayfaları indekslemeye daha fazla zaman ayırır.
Alien Road SEO ekibi
Alien Road tarama bütçesi optimizasyonunu nasıl uygular
Alien Road’da, e-ticaret platformları için teknik denetim sürecimiz, bot tarama modellerini belirlemek için kapsamlı bir sunucu günlüğü analizi ile başlar. Sunucu yükünün nerede zirveye ulaştığını belirlemek için tipik bir perakende hesabında arama robotlarının faset navigasyon parametreleri, sıralama seçenekleri ve sayfalama bağlantılarıyla nasıl etkileşime girdiğini inceliyoruz.
Keşif aşamasından sonra, hassas robots.txt direktiflerini yapılandırıyor, filtrelenmiş görünümler için kanonik etiket stratejileri uyguluyor ve arama motoru web yöneticisi araçlarında parametre işleme kuralları oluşturuyoruz. Ayrıca, yüksek değerli ticari dizinleri düşük seviyeli filtre permütasyonlarına göre önceliklendirmek için iç bağlantı hiyerarşilerini yapılandırıyoruz.
Son olarak, sunucu kararlılığını sağlamak ve temel ürün sayfalarının düzenli bot ziyaretleri aldığını doğrulamak için birkaç haftalık bir süre boyunca indeksleme kapsamı raporlarını izliyoruz. Bu sürekli denetim, ürün katalogları genişledikçe veya sezonluk promosyonlar yeni filtre setleri getirdikçe hız kurallarını dinamik olarak ayarlamamıza olanak tanır.
Bu hafta nereden başlamalı
Son yedi güne ait sunucu günlüğü dosyalarınızı çekerek ve arama motoru botlarını izole etmek için istekleri kullanıcı aracısına göre filtreleyerek başlayın. Hangi faset navigasyon URL’lerinin karşılık gelen organik trafik sağlamadan en yüksek istek hacmini tükettiğini belirleyin ve altyapınızı korumak için robots.txt veya kanonik uygulamanızı buna göre planlayın.
Ardından, arama motorlarının ticari sayfalarınızı ölümcül sözdizimi hatalarıyla karşılaşmadan analiz edebildiğinden emin olmak için ürün şeması işaretlemenizde bir doğrulama kontrolü çalıştırın. Bu iki ön adımı atmak, gereksiz sunucu yükünü anında azaltacak ve daha gelişmiş tarama verimliliği ayarlaması için sağlam bir temel oluşturacaktır.