Tahminleyici analitik, tahminleri kararları değiştirdiğinde ve bu kararlar ölçülebilir kazançlar sağladığında değerini kanıtlar. Bu nedenle ölçümü iki katman gerektirir: doğruluk, kalibrasyon ve hata gibi model metrikleri ve artan gelir, tasarruf edilen bütçe veya azalan müşteri kaybı gibi iş metrikleri. Sadece bir katmanı gösteren bir panel, modelin korunmaya değer olup olmadığını size söyleyemez.
Pazarlamada tahminleyici analitik ne sayılır?
Tahminleyici analitik, bir sonraki adımın ne olacağını tahmin etmek için geçmiş verileri ve istatistiksel veya makine öğrenimi modellerini kullanır. Pazarlamada yaygın durumlar satın alma eğilimi, kayıp riski, müşteri yaşam boyu değeri, talep tahmini ve potansiyel müşteri puanlamasıdır. Araçlar, Google Analytics 4’teki tahminleyici kitlelerden BigQuery ML, Python veya bir müşteri veri platformunda oluşturulan özel modellere kadar çeşitlilik gösterir.
Modelin kaynağı, cevapladığı sorudan daha az önemlidir. Bir yaşam boyu değer modeli, bir müşteri için ne kadar ödeme yapılması gerektiğine karar vermek için vardır. Bir kayıp modeli, kimin elde tutma teklifi alacağına karar vermek için vardır. Kararı adlandıramıyorsanız, değeri ölçemezsiniz.
Hangi model metriklerini takip etmelisiniz?
Model metrikleri size tahminlerin doğru olup olmadığını söyler. Gereklidirler ancak yeterli değildirler. Tahmin türüne uyanları seçin.
Evet/Hayır tahminleri için (kayıp, satın alma, dönüşüm)
- AUC: modelin olası dönüşüm yapanları olası olmayanların üzerinde ne kadar iyi sıraladığı. 0.5 yazı tura atmak gibidir.
- En üstte hassasiyet: en yüksek puanlı %10’luk müşteri diliminden kaçı gerçekten dönüşüm sağladı.
- Geri çağırma: modelin tüm dönüşüm yapanların ne kadarını yakaladığı.
- Kalibrasyon: %30 puan alan müşterilerin gerçekten %30 oranında dönüşüm yapıp yapmadığı. Kötü kalibrasyon, sıralama iyi olsa bile bütçe kararlarını bozar.
Sayısal tahminler için (gelir, talep, yaşam boyu değer)
- MAE veya MAPE: birim veya yüzde cinsinden ortalama hata, finans departmanına açıklaması kolaydır.
- Sapma: modelin sürekli olarak fazla veya az tahmin yapıp yapmadığı. Her zaman %15 yüksek olan bir tahmin, stok fazlasına yol açar.
- Segment bazında hata: bir model genel olarak doğru olabilir ancak yeni müşteriler veya tek bir bölge için yanlış olabilir.
Bunları bir kez değil, zaman içinde takip edin. Müşteri davranışı mevsimler, fiyatlar ve rakiplerle değişir ve model kalitesi düşer. AUC veya MAPE’nin aylık çizgi grafiği, genellikle yeniden eğitimin gerekli olduğunun en erken uyarısıdır.
İş değerini nasıl kanıtlarsınız?
En net kanıt kontrollü bir testtir. Kitleyi rastgele bölün: bir grup modele göre, diğeri eski kurala veya hiçbir kurala göre yönetilir. Sonuçtaki fark, modelin katkısıdır. Bir holdout grubu olmadan, bir tahminle karşılaştırma yapıyorsunuz demektir.
Örneğin, bir abonelik kutusu şirketi, test grubundaki en yüksek %20’lik kayıp riski olan müşterilere yalnızca elde tutma indirimi gönderebilirken, kontrol grubu iptal sayfasına gelen herkese indirim yapma şeklindeki eski politikayı korur. Karşılaştırılacak metrikler, elde tutulan gelir, indirim maliyeti ve müşteri başına net kardır.
- Holdout grubuna karşı artan dönüşümler veya gelir.
- Kaçınılan maliyet: düşük eğilimli kullanıcılara harcanmayan bütçe.
- Tahminleyici kitleleri kullanan kampanyalardaki reklam harcamalarının getirisi, kullanmayan eşleştirilmiş kampanyalara karşı.
- Daha önce manuel segmentler oluşturan analistler için kazanılan zaman.
- Tahmin odaklı envanter veya personel hataları, öncesi ve sonrası.
Holdout mümkün olmadığında
Bazı kararlar, sezon için toplam envanteri belirleyen bir tahmin gibi rastgeleleştirilemez. Bu durumda tahmini, gerçekte olanla ve geçen yılın satışları artı mevcut büyüme oranı gibi basit bir temel çizgiyle karşılaştırın. Model, temel çizgiyi işletmenin önemsediği bir marjla geçemiyorsa, karmaşıklığını haklı çıkarmak zordur. Temel çizgiyi sezon başlamadan önce kaydedin, böylece kimse modeli daha iyi veya daha kötü göstermek için sonradan ayarlayamaz.
Panel nasıl görünmeli?
İyi bir tahminleyici analitik paneli, tek bir ekranda üç soruyu yanıtlar: model hala doğru mu, kullanılıyor mu ve karşılığını veriyor mu? Looker Studio, Power BI veya Tableau hepsi çalışır; düzen araçtan daha önemlidir.
- Üst satır: mevcut dönem için güven aralığı ile iş sonucu ve holdout.
- Orta satır: AUC veya MAPE trendi, kalibrasyon grafiği ve veri tazelik tarihi gibi model sağlığı.
- Alt satır: bu ay kaç kampanya veya kararın puanları kullandığı gibi kullanım.
- Okuyucuların sıçramaları açıklayabilmesi için yeniden eğitim tarihlerini, veri değişikliklerini ve test dönemlerini listeleyen bir notlar paneli.
Teknik detayları veri ekibi için ikinci bir sayfada tutun. Pazarlama liderlerinin sonuçlara ve model sağlığı için trafik ışığı sinyaline ihtiyacı vardır, karmaşıklık matrislerine değil.
Alien Road tahminleyici analitik ölçümünü nasıl uygular
Tipik bir çalışmada, her modelin desteklediği kararı ve hareket ettirmesi gereken sonucu yazarak başlarız. Ardından verileri denetleriz: GA4 etkinlik kalitesi, CRM alanları, sipariş geçmişi ve onay kapsamı. Birçok ölçüm sorunu, izleme sorunu olarak ortaya çıkar.
Kurulum, müşteriyle hacme bağlı olarak genellikle %10 ile %20 arasında bir holdout payı üzerinde anlaşmayı ve puanlama hattını BigQuery’de veya müşterinin platformunda oluşturmayı içerir. Puanları kitle senkronizasyonları aracılığıyla Google Ads, Meta veya e-posta araçlarına bağlarız, böylece kullanım kaydedilir.
Raporlama aylıktır. Her rapor, holdout’a karşı artışı, model sağlığını ve bir öneriyi gösterir: tut, yeniden eğit veya emekli et. Basit kuralı geçmeyi bırakan bir model emekli edilir, çünkü bakımını yapmak zaman alır.
Gerçek sonucu gizleyen yaygın hatalar
- Sadece doğruluğu ölçmek ve değerin ardından geldiğini varsaymak.
- İşlem gören müşterileri, hiç benzer olmayan işlem görmemiş olanlarla karşılaştırmak.
- Modeli, teklifi ve kitleyi aynı anda değiştirmek.
- Maliyet tarafını görmezden gelmek: indirimler, ekstra reklam harcamaları ve analist saatleri.
- GA4 tahminleyici metriklerinin görünmeden önce yeterli alıcıya ve geri dönen kullanıcıya ihtiyaç duyduğunu unutmak.
Bu hafta nereden başlamalı
Ekibinizin bugün kullandığı her tahminleyici puanı ve ona bağlı kararı listeleyin. En önemlisi için bir holdout grubu olup olmadığını kontrol edin. Yoksa, bir sonraki kampanya döngüsü için bir tane oluşturun.
Ardından, sonuç ve holdout ile bir panel sayfası ve bir model sağlığı grafiği oluşturun. Ay sonunda kampanya sahibiyle gözden geçirin. Bu konuşma size modelin değeri hakkında herhangi bir doğruluk puanından daha fazlasını söyleyecektir.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu