Multimodal AI sistemleri metin, görseller, ses ve video gibi birden fazla girdi türünü anlar ve üretir. Temel riskler; güvenle sunulan yanlış okumalar, görsellerde ve kayıtlarda ele geçirilen kişisel veriler, üretilen medyayla ilgili hak sorunları ve görsellerin veya belgelerin içine gizlenmiş prompt enjeksiyonudur. Yönetişim, hangi medyanın yüklenebileceği, çıktıları kimin inceleyeceği ve üretilen varlıkların nasıl etiketleneceği ile ilgili kurallarla başlar.
GPT-4o, Gemini ve Claude gibi modeller artık ekran görüntülerini, grafikleri, ürün fotoğraflarını ve taranmış belgeleri okuyabiliyor. Bazıları konuşma ve videoyu da işliyor. Pazarlama ekipleri için bu, reklam kreatiflerinin analizinden röportajların transkripsiyonuna kadar faydalı iş imkanları açıyor, ancak aynı zamanda işlerin ters gidebileceği yolları da genişletiyor.
Multimodal AI pazarlama ekipleri için neler yapabilir?
Yaygın kullanım alanları arasında ürün görsellerini tanımlama ve etiketleme, raporların ekran görüntülerinden veri çıkarma, alt metin oluşturma, reklam kreatiflerini marka kurallarına göre inceleme, video röportajları yazıya dökme ve özetleme, ayrıca kampanyalar için görseller veya kısa klipler oluşturma yer alır.
Bunun cazibesi, eskiden her dosyaya bakması gereken bir insan gerektiren görevlerdeki hızdır. Binlerce ürün fotoğrafı içeren bir katalog, bir öğleden sonra alt metin ve nitelik etiketleri taslaklarına kavuşabilir.
Gerçek limitler nerede?
Multimodal modeller, yalnızca metin içeren görevlerin önerdiğinden daha sık yanlış okuma yapar. Görsellerdeki küçük metinler, yoğun grafikler, el yazısı ve sıra dışı düzenler hatalara neden olur. Nesneleri saymak ve grafiklerden kesin sayıları okumak bilinen zayıf noktalardır. Model, orada olanı değil, görmeyi beklediğini tanımlayabilir.
- İnce detaylar: küçük etiketler, ince yazılar ve düşük çözünürlüklü görseller genellikle yanlış okunur.
- Grafikler: modeller değerleri yanlış tahmin edebilir veya bir trend uydurabilir.
- Bağlam: bir model, bir fotoğrafın kurgu olduğunu veya bir ekran görüntüsünün güncel olmadığını bilmez.
- Ses: aksanlar, çapraz konuşmalar ve arka plan gürültüsü transkripsiyon doğruluğunu azaltır.
- Üretim: eller, görsellerin içindeki metin ve marka logoları, üretilen görsellerde yaygın başarısızlık noktalarıdır.
Temel riskler nelerdir?
Kişisel veriler birincisidir. Etkinliklerden fotoğraflar, CRM ekranlarının görüntüleri ve kaydedilmiş aramalar genellikle yüzler, isimler ve iletişim bilgileri içerir. Bunları bir AI aracına yüklemek, GDPR veya Türkiye’nin KVKK’sı gibi rejimlerde getirdiği tüm yasal yükümlülüklerle kişisel verilerin işlenmesi anlamına gelir.
Haklar ikincisidir. Üretilen görseller mevcut çalışmalara benzeyebilir ve ticari kullanım şartları araçtan araca değişir. Bir fotoğrafçının görsellerini “ilham” için yüklemek, sahip olduğunuz lisansı ihlal edebilir.
Görseller yoluyla prompt enjeksiyonu
Görselin içine gizlenmiş metin, örneğin küçük veya düşük kontrastlı talimatlar, model tarafından okunabilir ve bir komut olarak değerlendirilebilir. Eğer bir asistan müşterilerden veya web’den yüklenen dosyaları işliyorsa ve eyleme geçebiliyorsa, bu gerçek bir güvenlik sorununa dönüşür. Dışarıdan gelen herhangi bir görseli veya belgeyi güvenilmeyen girdi olarak kabul edin.
Hangi yönetişim kurallarını ilk önce belirlemelisiniz?
- Yükleme kuralları: kimlik belgeleri, kişisel veriler içeren müşteri ekran görüntüleri ve lisanssız görseller gibi yüklenmemesi gereken medya türlerini listeleyin.
- Onaylı araçlar: kabul edilebilir veri şartlarına sahip araçları ve planları adlandırın.
- İnsan incelemesi: bir raporda kullanılan herhangi bir çıkarılmış rakam ve harici olarak yayınlanan herhangi bir üretilmiş varlık bir insan tarafından kontrol edilir.
- Etiketleme: üretilen veya düzenlenen görsellerin ve videoların ne zaman açıklanacağına, platform kuralları ve yerel yasalar doğrultusunda karar verin.
- Onay: insanların görsellerini ve seslerini kaydetmeden veya işlemeden önce onay alın.
- Depolama: promptların, girdilerin ve çıktıların nerede ve ne kadar süreyle tutulacağını tanımlayın.
- Eylem limitleri: güvenilmeyen dosyaları okuyan asistanlar, onay olmadan eylemleri tetiklememelidir.
Platformlar ve düzenleyiciler üretilen medyayı nasıl ele alıyor?
Büyük platformlar, özellikle gerçekçi görseller ve siyasi veya sosyal konu reklamları için AI tarafından üretilen veya önemli ölçüde değiştirilmiş içerikler için etiketleme getirdi. Meta, YouTube ve TikTok’un hepsinin bir tür açıklama gereksinimi var; yayınlamadan önce her platformun güncel politikalarını kontrol edin. AB AI Yasası, deepfake’ler dahil olmak üzere belirli AI üretimi içerikler için şeffaflık yükümlülükleri içerir.
C2PA standardına dayalı içerik kimlik bilgileri, medya dosyalarına köken bilgileri ekler. Bazı üreticiler ve kameralar bunları otomatik olarak ekler. Bunları iş akışınızda korumaya değer, çünkü meta verileri silmek faydalı bir güven sinyalini ortadan kaldırır.
Multimodal çıktıyı nasıl denetlersiniz?
Düzenli olarak örnekleme yapın. Alt metin için her ay doğruluk ve faydalılık açısından rastgele bir seti inceleyin. Görsellerden çıkarılan veriler için bir örneği orijinal dosyalarla karşılaştırın. Üretilen görseller için promptların, aracın, planın ve onayın kaydını tutun, böylece daha sonra kökeniyle ilgili soruları yanıtlayabilirsiniz.
Sadece hata sayılarını değil, hata türlerini takip edin. Hataların çoğu düşük çözünürlüklü girdilerden kaynaklanıyorsa, çözüm farklı bir model değil, daha iyi kaynak dosyalardır.
Multimodal AI yönetişimine kim sahip olmalı?
Sahiplik genellikle veri koruma veya marka standartlarına zaten sahip olan ve pazarlama operasyonlarıyla çalışan kişide daha iyi durur. Adı geçen bir kişi politikayı güncel tutar, yeni araçları onaylar ve istisnaları ele alır. Sahipsiz olduğunda, araçlar video üretimi veya ekran okuma gibi özellikler ekledikçe lansman sırasında yazılan kurallar güncelliğini yitirir.
Politikayı beş dakikada okunacak kadar kısa tutun. Kimsenin açmadığı uzun bir belge kimseyi korumaz. Her çeyrekte gözden geçirin ve ekibinizin kullandığı bir araç yeni bir medya türü eklediğinde veya veri şartlarını değiştirdiğinde güncelleyin.
Hızlı bir kazanım olarak alt metin
Üretilen alt metin, riskler düşük ve inceleme hızlı olduğu için en güvenli ilk kullanımlardan biridir. Anahtar kelime listeleri değil, görselin neyi gösterdiğine ve sayfadaki amacına dair kısa açıklamalar isteyin.
Alien Road, multimodal AI’ı yönetişim ile nasıl uyguluyor?
Tipik bir iş birliğinde, keşif aşaması müşterinin medya iş akışlarını listeler: ürün fotoğrafçılığı, etkinlik görüntüleri, yaratıcı üretim ve raporlama. Hangi adımların kişisel verileri veya lisanslı varlıkları içerdiğini belirliyoruz.
Kurulum, uygun veri şartlarına sahip araçların seçilmesini, bir sayfalık yükleme ve inceleme politikasının yazılmasını ve AI çıktısının alt metin önerileri veya yaratıcı inceleme notları gibi taslaklar olarak düştüğü iş akışlarının oluşturulmasını içerir. Ölçüm, aylık doğruluk örneklemesi ve üretilen varlıkların kaydını kullanır. Raporlama, işlenen hacmi, türe göre hata oranlarını ve herhangi bir politika istisnasını kapsar, böylece kurallar kanıtlarla sıkılaştırılabilir veya gevşetilebilir.
Bu hafta nereden başlamalı?
Ekibinizin şu anda görselleri, sesi veya videoyu bir AI aracına yüklediği her yeri listeleyin. Her biri için dosyaların kişisel veriler veya lisanslı materyaller içerip içermediğini ve aracın hangi planda çalıştığını not edin. Her iki cevabın da “evet” ve “kişisel plan” olduğu her satır, yazılması gereken ilk kuraldır.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu