Multimodal AI, tek bir sistem içinde metin, görseller, ses ve video gibi birden fazla veri türünü anlayan ve üreten modellere denir. Örnekler arasında GPT-4o, Gemini ve görsel girişi olan Claude bulunur. Onların değerini kanıtlamak, bir demonun ne kadar etkileyici göründüğünü değil, gerçek girdiler üzerindeki görev doğruluğunu, insan inceleme süresini, çıktı başına maliyeti ve görevin desteklediği iş sonucunu ölçmek anlamına gelir.
Pazarlama çalışmalarında multimodal AI ne sayılır?
Mevcut öncü modellerin çoğu metinle birlikte görselleri kabul eder ve birkaçı ses ve videoyu işler. Pazarlamada yaygın görevler arasında reklam panellerinin ekran görüntülerini okumak, fotoğraflardan alt metin ve ürün açıklamaları yazmak, kreatifleri marka kurallarına göre kontrol etmek, videoyu yazıya dökmek ve özetlemek, ayrıca PDF’lerden veya taranmış belgelerden veri çıkarmak yer alır.
Üretim de multimodal’dır: görsel modelleri, ses sentezi ve video üretimi. Üretimi ve anlamayı ölçmek biraz farklı metrikler gerektirir, bu yüzden onları en baştan ayırın.
Ölçüm neden sadece metin tabanlı AI’den daha zordur?
Metin çıktıları referans cevaplarla oldukça kolay bir şekilde karşılaştırılabilir. Multimodal görevlerde genellikle tek bir doğru cevap yoktur. Aynı fotoğraf için iki iyi alt metin çok az kelime paylaşabilir. Marka rehberini takip eden bir görsel yine de yaratıcı niyeti kaçırabilir.
Girdiler de daha fazla değişkenlik gösterir. Bulanık fotoğraflar, alışılmadık açılar, yoğun grafikler ve aksanlı konuşmalar doğruluğu etkiler. Temiz örneklerde iyi çalışan bir model, ekibinizin aslında yüklediği dağınık dosyalarda zorlanabilir.
Hangi KPI’ları takip etmelisiniz?
Görev ailesi başına birkaç metrik seçin ve bunları zaman içinde sabit tutun.
Anlama görevleri için
- Doğru, küçük düzenleme, büyük düzenleme, yanlış gibi bir rubrika ile puanlanan gözden geçirilmiş bir örneğe karşı doğruluk.
- Belgeler için alan düzeyinde çıkarma doğruluğu: doğru alanların payı.
- Halüsinasyon oranı: girdide bulunmayan bir şeyi tanımlayan çıktıların payı.
- Öğe başına insan inceleme süresi, spot kontroller sırasında bir zamanlayıcı ile ölçülür.
Üretim görevleri için
- İlk geçiş onay oranı: değişiklik yapılmadan onaylanan çıktıların payı.
- Onaylanan varlık başına yinelemeler.
- Parti başına bulunan marka uyumluluğu sorunları.
- Yayınlanan varlıkların performansı, örneğin reklamlardaki tıklama oranı, önceki yönteme kıyasla.
Maliyet ve hız
Yeniden denemeler dahil olmak üzere tamamlanan öğe başına maliyeti ve talepten onaylanan çıktıya kadar geçen süreyi takip edin. Görseller ve ses, çağrı başına metinden çok daha pahalıya mal olabilir, bu nedenle öğe başına maliyet ekipleri genellikle şaşırtır.
Görseller ve video için nasıl bir test seti oluşturulur?
Stok örnekleri değil, gerçek girdileri toplayın. İyi bir test seti kolay vakaları, tipik olanları ve zor olanları içerir. Bir ürün açıklaması görevi için bu, stüdyo çekimleri, kullanıcı fotoğrafları, ambalajında metin olan ürünler ve yoğun arka planlara karşı fotoğraflanmış ürünler anlamına gelir.
Görev başına en az 100 öğeyi hedefleyin. İki kişinin kabul edilebilir bir çıktının ne içerdiği konusunda anlaşmasını sağlayın ve bunu mükemmel bir cevaptan ziyade bir kontrol listesi olarak yazın. Kontrol listeleri, multimodal görevler için kesin referanslardan daha uygundur.
Gösterge paneli neyi göstermelidir?
Görev ailesi başına tek bir ekranda tutun:
- Haftalık doğruluk veya ilk geçiş onay eğilimi.
- Örneklere bağlantılarla halüsinasyon sayısı.
- Öğe başına medyan insan inceleme süresi.
- Öğe başına maliyet ve toplam harcama.
- İşlenen hacim.
- Haftada yayınlanan ürün sayfaları veya test edilen reklam varyantları gibi bir iş metriği.
Örneklere bağlantılar önemlidir. Tek başına bir sayı, bir incelemeciye neyin başarısız olduğunu söylemez; üç kötü örnek genellikle söyler. Bu örnekleri tarih ve model sürümü ile paylaşılan bir klasörde saklayın, böylece gösterge paneli sayıları ilerledikten sonra hata geçmişi erişilebilir kalır.
Modelleri nasıl adil bir şekilde karşılaştırırsınız?
Aynı test setini aynı talimatlarla her aday üzerinden çalıştırın. Mümkünse körleme puanlayın, incelemeciler hangi modelin hangi çıktıyı ürettiğini bilmesin. Bazı API’lerin sunduğu görsel çözünürlük ayarlarının hem doğruluğu hem de maliyeti değiştirdiğini unutmayın.
Modeller güncellendiğinde karşılaştırmayı tekrarlayın. Satıcılar sık sık yeni sürümler yayınlar ve sizin özel görevinizdeki sıralamaları değişebilir.
Alien Road multimodal AI ölçümünü nasıl uygular
Tipik bir çalışmada, keşif aşaması personelin görsellere, belgelere, sese veya videoya baktığı ve hakkında bir şeyler yazdığı her görevi listeler. Ürün kataloğu açıklamaları, marka rehberlerine karşı kreatif kontroller ve video transkriptleri sık karşılaşılan adaylardır.
Kurulum, seçilen her görev için müşterinin kendi dosyalarından bir test seti oluşturur, puanlama kontrol listesini ekibiyle tanımlar ve iki veya üç modeli bunun üzerinde karşılaştırır. Seçilen iş akışı, başlangıçta her çıktıda insan incelemesiyle, doğruluk sabitlendikten sonra ise spot kontrollerle çalışır.
Ölçüm yukarıdaki gösterge panelini kullanır. Örneğin, aylık bir rapor, ürün açıklaması başına inceleme süresini, ilk geçiş onay oranını ve açıklama başına maliyeti, yayınlanan ürün sayfası sayısının yanında gösterebilir. Doğruluk düştüğünde, rapor başarısız örnekleri bağlar, böylece müşteri nedeni görebilir; bu genellikle test setinin içermediği yeni bir girdi türüdür.
Hangi tuzaklar sayıları saptırır?
Bunlara dikkat edin:
- Temiz örneklerde test edip dağınık yüklemelerde dağıtmak.
- İnceleme süresini saymadan tasarruf edilen süreyi saymak.
- Çıktı iyi okunduğu için halüsinasyonları görmezden gelmek.
- İstemleri ve modelleri aynı anda değiştirmek, böylece neyin yardımcı olduğunu söyleyememek.
- İş sonucu eklenmeden çıktı hacmini ölçmek.
Ölçüme kim sahip olmalıdır?
Sayıların sahibi olması için görev ailesi başına bir kişi atayın. İşleri küçük ama düzenlidir: haftalık spot kontrolü yapın, yeni bir hata türü ortaya çıktığında test setini güncelleyin ve herhangi bir istem veya model değişikliğini gösterge panelinin yanındaki bir değişiklik günlüğüne not edin.
Adlandırılmış bir sahip olmadan, gösterge paneli bir kez oluşturulur ve terk edilir. Değişiklik günlüğü özellikle yararlıdır. Doğruluk düştüğünde, ilk soru her zaman neyin değiştiğidir ve tarihli bir düzenleme listesi bunu hızlıca yanıtlar. Ayrıca sonuçları liderliğe sunarken yardımcı olur, çünkü hangi ayarlamaların doğruluğu artırdığını ve hangilerinin artırmadığını gösterebilirsiniz.
Bu hafta nereden başlamalı
Ekibinizin görselleri veya belgeleri yazılı olarak tanımladığı bir görev seçin, örneğin bir ürün kataloğu için alt metin. 100 gerçek öğe çekin, kısa bir kabul kontrol listesi yazın ve bunları iki multimodal model üzerinden çalıştırın. Bir incelemecinin her çıktıyı onaylamasının veya düzeltmesinin ne kadar sürdüğünü zamanlayın. O tek testten elde edilen doğruluk, inceleme süresi ve öğe başına maliyet, daha geniş bir yayılımın buna değip değmeyeceğini size söyleyecektir.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu