Prediktiv analitika öz dəyərini proqnozları qərarları dəyişdikdə və bu qərarlar ölçülə bilən qazanclar gətirdikdə sübut edir. Buna görə də onun ölçülməsi iki səviyyə tələb edir: dəqiqlik, kalibrləmə və xəta kimi model göstəriciləri və artan gəlir, qənaət edilmiş büdcə və ya azalmış müştəri itkisi kimi biznes göstəriciləri. Yalnız bir səviyyəni göstərən idarəetmə paneli modelin saxlanmağa dəyər olub-olmadığını sizə deyə bilməz.
Marketinqdə prediktiv analitika nə sayılır?
Prediktiv analitika tarixi məlumatlardan və statistik və ya maşın öyrənməsi modellərindən istifadə edərək növbəti addımın nə olacağını təxmin edir. Marketinqdə ümumi hallar alış meyli, müştəri itkisi riski, müştərinin ömürlük dəyəri, tələbatın proqnozlaşdırılması və potensial müştərilərin qiymətləndirilməsidir. Alətlər Google Analytics 4-dəki prediktiv auditoriyalardan tutmuş BigQuery ML, Python və ya müştəri məlumat platformasında qurulmuş xüsusi modellərə qədər dəyişir.
Modelin mənbəyi onun cavab verdiyi sualdan daha az əhəmiyyətlidir. Ömürlük dəyər modeli bir müştəri üçün nə qədər ödəməli olduğuna qərar vermək üçün mövcuddur. Müştəri itkisi modeli kimin saxlama təklifi alacağına qərar vermək üçün mövcuddur. Əgər qərarı adlandıra bilmirsinizsə, dəyəri ölçə bilməzsiniz.
Hansı model göstəricilərini izləməlisiniz?
Model göstəriciləri proqnozların düzgün olub-olmadığını sizə deyir. Onlar lazımdır, lakin kifayət deyil. Proqnoz növünə uyğun olanları seçin.
Bəli/Xeyr proqnozları üçün (müştəri itkisi, alış, konversiya)
- AUC: modelin potensial konversiya edənləri etməyənlərdən nə qədər yaxşı ayırdığını göstərir. 0.5 yazı-tura kimidir.
- Yuxarıda dəqiqlik: ən yüksək 10% ballı müştərilərdən neçəsi həqiqətən konversiya etdi.
- Xatırlama: modelin bütün konversiya edənlərin hansı hissəsini tutduğunu göstərir.
- Kalibrləmə: 30% balla qiymətləndirilən müştərilərin həqiqətən 30% hallarda konversiya edib-etmədiyi. Zəif kalibrləmə, sıralama yaxşı olsa belə, büdcə qərarlarını pozur.
Rəqəmsal proqnozlar üçün (gəlir, tələbat, ömürlük dəyər)
- MAE və ya MAPE: vahid və ya faizlə orta xəta, maliyyə şöbəsinə izah etmək asandır.
- Qərəz: modelin ardıcıl olaraq həddindən artıq və ya az proqnoz verib-vermədiyi. Həmişə 15% yüksək olan proqnoz artıq ehtiyatlara gətirib çıxarır.
- Seqment üzrə xəta: model ümumilikdə dəqiq ola bilər, lakin yeni müştərilər və ya bir region üçün yanlış ola bilər.
Bunları bir dəfə deyil, zamanla izləyin. Müştəri davranışı mövsümlər, qiymətlər və rəqiblərlə dəyişir və modelin keyfiyyəti azalır. AUC və ya MAPE-nin aylıq xətt qrafiki çox vaxt yenidən təlimin lazım olduğunun ən erkən xəbərdarlığıdır.
Biznes dəyərini necə sübut edirsiniz?
Ən aydın sübut nəzarətli testdir. Auditoriyanı təsadüfi bölün: bir qrup modelə uyğun, digəri isə köhnə qaydaya və ya heç bir qaydaya uyğun idarə olunur. Nəticədəki fərq modelin töhfəsidir. Holdout qrupu olmadan, siz təxminlə müqayisə edirsiniz.
Məsələn, abunə qutusu şirkəti yalnız test qrupundakı ən yüksək 20% müştəri itkisi riski olan müştərilərə saxlama endirimi göndərə bilər, nəzarət qrupu isə ləğv səhifəsinə daxil olan hər kəsə endirim etmək köhnə siyasətini saxlayır. Müqayisə ediləcək göstəricilər saxlanılan gəlir, endirim xərci və müştəri başına xalis mənfəətdir.
- Holdout qrupuna qarşı artan konversiyalar və ya gəlir.
- Qənaət edilmiş xərc: aşağı meylli istifadəçilərə xərclənməyən büdcə.
- Prediktiv auditoriyalardan istifadə edən kampaniyalarda reklam xərclərinin gəlirliliyi, istifadə etməyən uyğunlaşdırılmış kampaniyalara qarşı.
- Əvvəllər əl ilə seqmentlər quran analitiklər üçün qənaət edilmiş vaxt.
- Proqnoz əsaslı inventar və ya kadr səhvləri, əvvəl və sonra.
Holdout mümkün olmadıqda
Bəzi qərarlar təsadüfi ola bilməz, məsələn, mövsüm üçün ümumi inventarı müəyyən edən proqnoz. Bu halda proqnozu baş verənlərlə və sadə baza xətti ilə, məsələn, keçən ilin satışları üstəgəl cari artım tempi ilə müqayisə edin. Əgər model baza xəttini biznesin əhəmiyyət verdiyi bir marj ilə üstələmirsə, onun mürəkkəbliyini əsaslandırmaq çətindir. Mövsüm başlamazdan əvvəl baza xəttini qeyd edin ki, heç kim sonradan modeli daha yaxşı və ya pis göstərmək üçün onu dəyişməsin.
İdarəetmə paneli necə görünməlidir?
Yaxşı bir prediktiv analitika idarəetmə paneli bir ekranda üç suala cavab verir: model hələ də dəqiqdirmi, istifadə olunurmu və özünü doğruldurmu. Looker Studio, Power BI və ya Tableau işləyir; tərtibat alətdən daha vacibdir.
- Üst sıra: cari dövr üçün etibarlılıq intervalı ilə biznes nəticəsi və holdout.
- Orta sıra: modelin sağlamlığı, məsələn, AUC və ya MAPE trendi, kalibrləmə qrafiki və məlumatların təzəlik tarixi.
- Alt sıra: istifadə, məsələn, bu ay ballardan neçə kampaniya və ya qərar istifadə edib.
- Yenidən təlim tarixlərini, məlumat dəyişikliklərini və test dövrlərini sadalayan qeydlər paneli, beləliklə oxucular sıçrayışları izah edə bilərlər.
Texniki detalları məlumat komandası üçün ikinci səhifədə saxlayın. Marketinq liderləri nəticəyə və modelin sağlamlığı üçün işıqfor siqnalına ehtiyac duyurlar, qarışıqlıq matrislərinə deyil.
Alien Road prediktiv analitika ölçməsini necə tətbiq edir
Tipik bir işdə biz hər bir modelin dəstəklədiyi qərarı və onun hərəkət etdirməli olduğu nəticəni yazmaqla başlayırıq. Sonra məlumatları yoxlayırıq: GA4 hadisə keyfiyyəti, CRM sahələri, sifariş tarixi və razılıq əhatəsi. Bir çox ölçmə problemləri izləmə problemləri kimi ortaya çıxır.
Quraşdırma müştəri ilə holdout payının razılaşdırılmasını (həcmdən asılı olaraq çox vaxt 10% ilə 20% arasında) və BigQuery-də və ya müştərinin platformasında ballama boru kəmərinin qurulmasını əhatə edir. Biz balları auditoriya sinxronizasiyası vasitəsilə Google Ads, Meta və ya e-poçt alətlərinə bağlayırıq ki, istifadə qeydə alınsın.
Hesabat aylıqdır. Hər hesabat holdout-a qarşı artımı, modelin sağlamlığını və bir tövsiyəni göstərir: saxla, yenidən təlim keç və ya təqaüdə çıxar. Sadə qaydanı üstələməyi dayandıran model təqaüdə çıxarılır, çünki ona qulluq etmək vaxt aparır.
Həqiqi nəticəni gizlədən ümumi səhvlər
- Yalnız dəqiqliyi ölçmək və dəyərin ardınca gəldiyini güman etmək.
- Müalicə olunan müştəriləri heç vaxt oxşar olmayan müalicə olunmayanlarla müqayisə etmək.
- Modeli, təklifi və auditoriyanı eyni vaxtda dəyişmək.
- Xərc tərəfini nəzərə almamaq: endirimlər, əlavə reklam xərcləri və analitik saatları.
- GA4 prediktiv göstəricilərinin görünməzdən əvvəl kifayət qədər alıcıya və geri qayıdan istifadəçiyə ehtiyacı olduğunu unutmaq.
Bu həftə haradan başlamaq lazımdır
Komandanızın bu gün istifadə etdiyi hər bir prediktiv balı və ona əlavə edilmiş qərarı siyahıya alın. Ən vacibi üçün holdout qrupunun olub-olmadığını yoxlayın. Əgər yoxdursa, növbəti kampaniya dövrü üçün birini qurun.
Sonra nəticə və holdout ilə bir idarəetmə paneli səhifəsi və bir model sağlamlıq qrafiki qurun. Ayın sonunda kampaniya sahibi ilə nəzərdən keçirin. Bu söhbət sizə modelin dəyəri haqqında hər hansı dəqiqlik balından daha çox məlumat verəcəkdir.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması