AI ürün önerileri, bunları gören alıcıları görmeyen benzer alıcılarla karşılaştırarak ve ardından ziyaretçi başına gelir, dönüşüm oranı, ortalama sipariş değeri ve marja bakılarak doğru şekilde ölçülür. Widget tıklamaları ve satıcılardan gelen “etkilenen gelir” rakamları etkiyi abartır, çünkü bu alıcıların birçoğu zaten satın alım yapacaktı. İyi bir kontrol paneli, katalog kapsamı ve kalite kontrolleriyle birlikte, slot bazında gerçek artışı gösterir.
Satıcı rakamları neden yanıltıcıdır?
Çoğu öneri aracı “önerilerden gelen gelir” veya “etkilenen gelir” raporu sunar. Bu genellikle bir widget’ta tıklanan bir ürünü içeren herhangi bir siparişi, bazen uzun bir süre içinde sayar. Aynı ürünü arama yoluyla bulacak olan bir alıcı yine de sayılır.
Bu rakamlar, bir araç içindeki slotları karşılaştırmak için yararlıdır. Artan değerin kanıtı değildirler. Bunun için bir kontrol grubuna ihtiyacınız var.
Holdout testi nedir ve nasıl yapılır?
Holdout testi trafiği rastgele böler. Bir grup önerileri normal şekilde görür; diğeri ise blok olmaması veya basit bir en çok satanlar listesi gibi bir yedek seçenek görür. Yeterli süreden sonra, gruplar arasındaki sonuçları karşılaştırırsınız.
- Test edilecek slotu seçin, örneğin ürün sayfasındaki “benzer ürünler”
- Gelir kaybını sınırlamak için ziyaretçileri genellikle 90/10 veya 80/20 oranında rastgele bölün
- Bölünmeyi oturumlar boyunca ziyaretçi bazında sabit tutun
- Hafta içi modellerini kapsayacak şekilde en az iki tam hafta, düşük trafikli mağazalar için daha uzun süre çalıştırın
- Ziyaretçi başına geliri, dönüşüm oranını ve ortalama sipariş değerini karşılaştırın
- Karar vermeden önce istatistiksel anlamlılığı kontrol edin
Dynamic Yield, Bloomreach ve ticaret için Vertex AI Search dahil olmak üzere birçok platform yerleşik deney araçları sunar. Daha küçük mağazalarda, Google Optimize’ın kullanımdan kaldırılması ekipleri VWO, Optimizely veya platforma özgü A/B özellikleri gibi araçlara yöneltti.
Hangi KPI’lar daha önemlidir?
Bunları iş etkisi, etkileşim, katalog sağlığı ve kalite olarak gruplandırın.
İş etkisi
- Ziyaretçi başına gelir: artışın en iyi tek özetidir
- Dönüşüm oranı
- Ortalama sipariş değeri ve sipariş başına ürün sayısı
- Sipariş başına brüt marj, çünkü ucuz eklentiler sipariş değerini artırıp kârı düşürebilir
- Kişiselleştirilmiş slotlar için 60 ila 90 gün içinde tekrar satın alma oranı
Etkileşim
- Öneri bloğundaki tıklama oranı
- Önerilen ürünlerden sepete ekleme oranı
- Bir öneriyle etkileşime giren oturumların payı
Katalog sağlığı
- Kapsam: şimdiye kadar önerilen aktif ürünlerin payı
- Konsantrasyon: ilk 10 ürüne giden öneri gösterimlerinin payı
- Yeni ürünlerin ilk haftalarındaki görünürlüğü
Kalite
- Stokta olmayan ürünlerin gösterilmesi
- Manuel incelemede bulunan garip veya alakasız öneriler
- Öneriler aracılığıyla satın alınan ürünler için iade oranı
Kapsam ve konsantrasyon neden önemlidir?
Öneri modelleri çok fazla verisi olan ürünleri tercih eder. Kendi hallerine bırakıldıklarında, her yerde aynı en çok satanları gösterirler ve kataloğun uzun kuyruğu görünmez kalır. Bu, yeni koleksiyonlara zarar verir ve tasfiye stoklarını kenara itebilir.
Kapsamı ve yoğunluğu aylık olarak takip edin. İlk on ürün gösterimlerin çoğunu alıyorsa, yeni ürünler için çeşitlilik kuralları veya destekler ekleyin, ardından ziyaretçi başına gelirin korunduğunu kontrol edin.
Gösterge paneli nasıl görünmeli?
Her kitle için tek bir ekranla sınırlayın. Liderliğin artışa ve marja ihtiyacı var; e-ticaret ekibinin ise slot detaylarına ihtiyacı var.
- Özet: ziyaretçi başına gelir ve marj, test grubu ile kontrol grubu, güven aralıkları ile
- Slot tablosu: her slotun stratejisi, TO, sepete ekleme oranı ve test edildiği yerlerde ölçülen artış
- Katalog paneli: kapsam, yoğunluk ve yeni ürün görünürlüğü
- Kalite paneli: stokta olmayanlar, manuel inceleme işaretleri, iade oranı
- Test günlüğü: ne değiştirildi, ne zaman ve sonuç ne oldu
Veriler genellikle öneri platformundan, Google Analytics 4 gibi analitik araçlarından ve mağazanın sipariş veritabanından gelir. Bunları Looker Studio, Power BI veya BigQuery gibi bir depoda birleştirin. Gösterge paneline metrik tanımlarını yazın ki sabit kalsınlar.
Hangi hatalar sonuçları saptırır?
Küçük kurulum hataları bir testi işe yaramaz hale getirebilir.
- Bir grup öndeyken testleri vaktinden önce bitirmek
- Aynı slotta aynı anda birkaç test yürütmek
- Gruplar yerine dönemleri karşılaştırmak, böylece mevsimler sonucu saptırır
- Verilerdeki botları ve iç trafiği görmezden gelmek
- Marj olmadan geliri saymak
Bir test ne kadar sürmeli ve ne kadar büyük olmalı?
Tek bir cevabı yok, çünkü bu trafiğe ve beklediğiniz etkinin ne kadar büyük olduğuna bağlı. Günde on binlerce ziyaretçisi olan bir mağaza, iki hafta içinde küçük artışları tespit edebilir. Küçük bir mağazanın bir ay veya daha fazla zamana ihtiyacı olabilir ve sadece büyük farkları tespit edebilir.
Çevrimiçi örneklem büyüklüğü hesaplayıcıları yardımcı olur. Mevcut dönüşüm oranınızı ve harekete geçmeye değer en küçük artışı girin, araç size her grubun kaç ziyaretçiye ihtiyacı olduğunu söyler. Eğer sayı trafiğinizin çok üzerindeyse, iki benzer strateji yerine öneriler ile öneri olmaması gibi daha büyük bir değişikliği test edin.
- Bir kararı değiştirecek minimum artışa karar verin
- Başlamadan önce örneklem büyüklüğünü hesaplayın
- Sonuç iyi göründüğü için testi vaktinden önce durdurmayın
- Hiçbir fark göstermediğinde bile sonucu kaydedin
Önerileri yaşam boyu değer ile nasıl bağlarsınız?
Kısa testler ilk siparişi yakalar. Kişiselleştirilmiş öneriler ayrıca alıcıların gelecek ay ne alacağını, ne sıklıkla geri döneceğini ve yeni kategorilere geçip geçmeyeceğini değiştirebilir. Bu etkilerin görünmesi daha uzun sürer.
Yeterince tekrar eden alıcısı olan mağazalar için, örneğin müşterilerin yüzde 5’i gibi, asla kişiselleştirilmiş bloklar veya e-postalar almayan küçük bir uzun vadeli kontrol grubu tutun. Onların 90 günlük gelirlerini geri kalanıyla karşılaştırın. Kişiselleştirmenin sadakat oluşturup oluşturmadığını veya sadece satın alma zamanını değiştirip değiştirmediğini görmenin en net yolu budur.
Alien Road öneri ölçümünü nasıl uygular
Tipik bir e-ticaret etkileşiminde, önce takibi kontrol ederiz: ürün görüntüleme, sepete ekleme ve ürün kimlikleriyle satın alma etkinlikleri, artı onay yönetimi. Temiz etkinlikler olmadan hiçbir öneri raporuna güvenilemez.
Ardından ana slotlarda kontrol testleri kurarız, gösterge panelini analitik, platform ve sipariş verilerinden oluştururuz ve tanımları müşterinin ekibiyle kararlaştırırız. Testler her seferinde bir slotta yürütülür.
Aylık raporlar güven aralıkları, marj etkisi, katalog kapsamı ve test günlüğü ile ölçülen artışı gösterir. Bir slot artış göstermediğinde, bunu söyleriz ve farklı bir strateji öneririz veya onu kaldırırız, çünkü her blok sayfadaki yer için rekabet eder.
Bu hafta nereden başlamalı
Öneri aracınızın geliri nasıl bildirdiğini kontrol edin ve ilişkilendirme kuralını not edin. Ardından en yoğun öneri slotunuzu seçin ve platformun test özelliğini veya A/B aracınızı kullanarak 90/10’luk bir kontrol grubu kurun. En az iki hafta çalıştırın ve gruplar arasındaki ziyaretçi başına geliri karşılaştırın. O tek test size sonraki her karar için gerçek bir temel sağlar.