Pazarlamadaki makine öğrenimi çalışmalarıyla ilgili raporların çoğu aynı testten geçemiyor. Birisi bir paneli açıp değişen bir sayıyı işaret ediyor ve sistemin çalıştığını söylüyor. Ardından bir finans yöneticisi basit bir soru soruyor: Hiçbir şey yapmasaydık ne olurdu? Odada çıt çıkmıyor. Sorun nadiren modelden kaynaklanıyor. Sorun, ekrandaki AI optimizasyon metriklerinin bu soruyu yanıtladıkları için değil, toplanmaları kolay olduğu için seçilmiş olmalarıdır.
Otomasyonu kurmadan önce ölçümlemeyi kuruyoruz ve bunu bu sırayla yapmamızın bir nedeni var. Bir optimizasyon sistemi canlıya alındığında, ölçüldüğü veriyi değiştirir. Bütçeyi yüksek niyetli trafiğe kaydıran bir teklif verme modeli, tek bir fazladan satış üretse de üretmese de dönüşüm oranını iyileştirecektir; çünkü kimin sayıldığını içeren karışımı değiştirmiştir. Sistem çalışmaya başlamadan önce temel değerlerinizi ve karşılaştırma yönteminizi sabitlemezseniz, gerçek artışı yeniden düzenlemeden ayırma yeteneğinizi kaybedersiniz. Bu makale, her optimizasyon çalışmasının altına yerleştirdiğimiz ölçümleme katmanını, müşterilere raporladığımız sayıları ve manşetlerden kasıtlı olarak çıkardıklarımızı ortaya koyuyor.
Panele Değil, Karara Odaklanın
Her ölçüm, birinin gerçekten vereceği bir karara dayanmalıdır. Eğer bir sayı değişiyor ve kimse hiçbir şeyi değiştirmiyorsa, o sayı sadece dekorasyondur. Müşterilerimizden önce kararı tanımlamalarını istiyoruz: Bütçeyi artıracak mıyız, modeli ikinci bir pazara genişletecek miyiz, önümüzdeki çeyrekte bu sisteme ödeme yapmaya devam edecek miyiz? Metrik, cevabı gerçekten değiştirecek olan kanıttır. Bu kısıtlama, tipik bir raporlama paketinin yaklaşık yarısını ilk toplantıda eler.
Gerçekten Raporladığımız AI Optimizasyon Metrikleri
Raporlamamız üç kademeden oluşur. En üst kademe iş sonucudur: gelir, nitelikli satış hunisi, edinme başına maliyet, katkı payı. Müşterinin satın aldığı şey bunlardır. Orta kademe mekanizmadır: sistemin değiştirmesi beklenen belirli davranış; örneğin bütçenin kârlı segmentlere düşen payı veya kalite eşiğini karşılayan sayfaların oranı. Alt kademe ise hata oranları, gecikme, veri tazeliği ve kapsamı içeren sistem sağlığıdır. Sağlık metrikleri asla manşetlerde yer almaz. Bunlar, en üst kademe yanlış yöne gittiğinde, nedenin pazar mı yoksa bozuk bir süreç mi olduğunu hızlıca anlayabilmemiz için vardır.
- Toplam grup için toplam sonuç değil, dışarıda tutulan bir kontrol grubuna karşı artımlı sonuç.
- Sadece medya harcaması değil, sistemin kendisini çalıştırmanın maliyeti de dahil olmak üzere, artımlı birim başına maliyet.
- Karar kapsamı: sistemin atlamak yerine gerçekten verdiği uygun kararların payı.
- Kararlılık: girdiler büyük ölçüde değişmediğinde çıktının haftadan haftaya ne kadar değiştiği.
- Düzeltme süresi: hatalı bir otomatik kararı fark etmenin ve tersine çevirmenin ne kadar sürdüğü.
Sonuncusu hafife alınıyor. Çoğu zaman doğru olan ancak yanlış olduğunu fark etmesi üç hafta süren bir sistem, daha yavaş bir manuel süreçten daha kötü olabilir. Bunu kasıtlı olarak ölçüyoruz ve pek hoş görünmediğinde bile raporluyoruz, çünkü sistemin bir sonrakinde ne kadar özerkliğe sahip olabileceğini öngören sayı budur.
Kontrol Grupları Tek Dürüst Karşılaştırmadır
Bu ayı geçen ayla karşılaştırmak bir kanıt değildir. Mevsimsellik, rakip faaliyetleri, tedarik sorunları, basında yer alma ve fiyatlandırma değişikliği, sonuçları herhangi bir optimizasyondan daha fazla değiştirebilir. İncelemeye dayanan tek karşılaştırma, sistemin dokunmasına izin verilmeyen, aynı zamanda çalışan ve aynı popülasyondan alınan bir gruptur. Bu, coğrafi kontrol grupları, kitle kontrol grupları veya kasıtlı olarak optimize edilmemiş rastgele kampanya veya sayfa payları anlamına gelir.
Müşteriler genellikle buna direnir çünkü kontrol grubu masada para bırakmak gibi hissettirir. Bizim cevabımız, kontrol grubunun mevcut en ucuz sigorta olduğudur. O olmadan, sessizce çalışmayı durduran bir sistem aylarca bütçe almaya devam eder. Onunla ise aradaki fark gözle görülür şekilde kapanır ve haftalar içinde durumu anlarsınız.
Güvenlik Önlemleri Aynı Raporda Yer Almalıdır
Optimizasyon sistemleri, ödüllendirildikleri her şey için en kısa yolu bulurlar ve en kısa yol genellikle istemediğiniz bir şeydir. Dönüşüm oranı üzerinden ödüllendirilen bir model, aşina olmadığı kimseye teklif vermemeyi öğrenir. Sıralama üzerinden ödüllendirilen bir içerik sistemi, birbirinin aynısı kısa içerikler yazmayı öğrenir. Güvenlik önlemi metriklerini manşetin yanında yayınlıyoruz: yeni müşteri payı, iade oranı, geri ödeme oranı, marka ve marka dışı karışımı, içerik özgünlük kontrolleri. Manşet iyileşirken bir güvenlik önlemi yanlış yöne giderse, bunu bir uyarı ile başarı değil, başarısız bir deney olarak değerlendiririz.
Altı Ay Sonra İyi Bir Durum Nasıl Görünür?
Olgun bir ölçümleme kurulumuna bakmak sıkıcıdır: güven aralığıyla birlikte kısa bir artımlı sonuç manşeti, kazancın nasıl gerçekleştiğini açıklayan küçük bir mekanizma metrikleri seti, hiçbir şeyin bozulmadığını gösteren güvenlik önlemleri ve bir sistem sağlığı eki. Aynı AI optimizasyon metrikleri her ay aynı sırada görünür, bu da sapmayı belirginleştirir. Kimse kötü bir ayı açıklamak için yeni bir grafik eklemez.
Sıfırdan başlıyorsanız, sıra basittir. Kararı tanımlayın, sonucu seçin, lansmandan önce bir kontrol grubu ayırın, güvenlik önlemlerini kabul edin ve ilişkilendirme yöntemini yazılı olarak sabitleyin. Bu çalışma bir veya iki hafta sürer ve optimizasyonun kendisinden çok daha az ilgi çekicidir, ancak umut verici bir pilot çalışmayı finans ekibinizin finanse etmeye devam edeceği bir sisteme dönüştüren şey budur. Mevcut ölçümlemeniz hakkında ikinci bir görüş isterseniz, başka bir çeyrek harcama yapmadan önce incelemekten memnuniyet duyarız.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu