Multimodal AI, tek bir istekte görüntüler, metin, ses ve video gibi birden fazla girdi türünü alabilen ve bunlar üzerinde mantık yürütebilen modellere atıfta bulunur. GPT-4o, Gemini ve Claude, bir ürün fotoğrafına bakıp onu tanımlayabilir, metinle karşılaştırabilir veya onun hakkında soruları yanıtlayabilir. E-ticaret markaları için bu, bir insanın çıktıyı kontrol etmesi şartıyla daha hızlı katalog çalışması, daha iyi arama ve daha akıllı destek anlamına gelir.
Bir modeli multimodal yapan nedir?
Eski sistemler her iş için ayrı modellere ihtiyaç duyuyordu: biri metni okumak için, diğeri görselleri etiketlemek için, üçüncüsü sesi yazıya dökmek için. Multimodal modeller birkaç girdiyi birlikte işler, bu sayede bir elbisenin fotoğrafını gönderip tek bir adımda ürün başlığı, beş özellik ve bakım talimatı isteyebilirsiniz.
Bazı modeller metinden daha fazlasını da üretir. Imagen veya ChatGPT’deki görsel özelliği gibi görsel oluşturucular görseller yaratır ve ses modları cevapları yüksek sesle konuşur. Ancak çoğu e-ticaret görevi için yararlı yön şudur: görsel giriş, yapılandırılmış metin çıkış.
Multimodal AI katalog çalışmasını nasıl hızlandırabilir?
Katalog zenginleştirme genellikle ilk ve en pratik kullanımdır. Tedarikçiler az veri gönderir: bir SKU, bir fiyat ve bir fotoğraf. Her sezon yüzlerce yeni ürün için başlıklar, açıklamalar ve filtreler yazmak bir ekibin haftalarını alır.
- Fotoğraflardan özellikleri çıkarın: renk, desen, yaka, malzeme görünümü, stil.
- Şablonunuza ve karakter sınırlarınıza uyan başlıklar ve açıklamalar hazırlayın.
- Erişilebilirlik ve görsel arama için görsel alt metni yazın.
- Kuralları ihlal eden fotoğrafları işaretleyin: yanlış arka plan, filigran, kırpılmış ürün.
- Fotoğraf ile tedarikçinin metni arasındaki uyumsuzlukları tespit edin, örneğin siyah olarak listelenen mavi bir ürün gibi.
Malzeme, beden ve kalıp bir fotoğraftan güvenilir bir şekilde okunamaz. Bir model kumaşın keten gibi göründüğünü söyleyebilir, ancak bunu yalnızca tedarikçinin teknik föyü doğrulayabilir. İadeleri veya yasal etiketlemeyi etkileyen gerçekleri tedarikçi verilerine bağlı tutun ve modeli açıklama ve görsel özellikler için kullanın.
Hangi müşteri odaklı kullanımlar bugün çalışıyor?
Görsel arama
Alıcılar bir fotoğraf yükler ve benzer ürünleri görür. Google Lens insanları zaten bu şekilde aramaya alıştırıyor. Algolia, Bloomreach ve Klevu gibi arama sağlayıcıları ve büyük bulut platformları, bir mağazaya eklenebilecek görsel benzerlik özellikleri sunar.
Fotoğraflarla destek
Müşteriler hasarlı bir ürünün, yanlış teslimatın veya takip edemedikleri bir montaj adımının resmini gönderebilirler. Multimodal bir asistan sorunu sınıflandırabilir, doğru takip sorusunu sorabilir ve vakayı yönlendirebilir. İadeler ve değişimler yine de insan onayına ihtiyaç duymalıdır.
Alışveriş asistanları
Shopify’ın Sidekick’i gibi asistanlar satıcılar için çalışırken, müşteri odaklı asistanlar fotoğrafı, boyutları ve yorumları birleştirerek “bu lamba küçük bir masaya sığar mı?” gibi soruları yanıtlar. Cevaplar sizin verilerinizden gelmelidir; boyutları tahmin eden bir asistan iadelere yol açar.
Multimodal AI yorumlar ve içerik konusunda nasıl yardımcı olabilir?
Birçok alıcı fotoğraf ve video yorumları yayınlar. Bir model bu görselleri, yıpranan bir kayış veya ürün sayfasından farklı görünen renkler gibi tekrarlayan sorunlar için tarayabilir ve bunları ürün ekibi için özetleyebilir. Bu, yorum içeriğini bir kalite geri bildirim döngüsüne dönüştürür.
Pazarlama tarafında modeller, reklam kreatiflerinin açılış sayfası ürünüyle eşleştiğini kontrol edebilir, kullanıcı tarafından oluşturulan içeriği yeniden yayınlanmadan önce inceleyebilir ve ürün videolarını yazılı nasıl yapılır kılavuzlarına dönüştürebilir. Her biri yargılama süresinden değil, inceleme süresinden tasarruf sağlar.
Riskler ve sınırlar nelerdir?
Multimodal modeller hala görüntüleri yanlış okuyor. Etiketlerdeki küçük metinler, ince renk farklılıkları ve yoğun bir fotoğraftaki öğeleri saymak yaygın hata noktalarıdır. Ayrıca orada olmayan şeyleri de kendinden emin bir şekilde tanımlayabilirler.
- Tedarikçi onayı olmadan güvenliği, alerjileri veya yasal etiketleri etkileyen özellikleri asla yayınlamayın.
- Çok satanlar için renk açıklamalarını fiziksel numuneye göre kontrol edin.
- Ölçeklendirmeden önce modeli kendi fotoğraflarınızdan oluşan etiketli bir örneklem üzerinde test edin.
- Veri anlaşması olmadan yüz veya adres içeren müşteri fotoğraflarını araçlara göndermeyin.
- Her parti için model sürümünün ve istemin kaydını tutun.
Alien Road multimodal AI’yı nasıl uyguluyor
AI optimizasyon ekibimiz genellikle katalog zenginleştirme ile başlar çünkü net bir öncesi ve sonrası vardır. Keşif, ürün sayfalarından oluşan bir örneklemi eksik özellikler, zayıf başlıklar ve eksik alt metin için incelemek ve kategori başına bir özellik listesi üzerinde anlaşmak anlamına gelir.
Kurulum, fotoğrafı artı tedarikçi verilerini alan ve tüccarların içe aktarmadan önce incelediği yapılandırılmış alanları döndüren kategori başına bir istem şablonunu içerir. Önce birkaç yüz ürün üzerinde test ediyoruz ve kaç alanın düzeltmeye ihtiyaç duyduğunu ölçüyoruz.
Ölçüm, listelenen ürün başına süreyi, filtre kapsamını ve zenginleştirilmiş kategoriler için site içi arama çıkışlarındaki ve dönüşümdeki değişiklikleri bir karşılaştırma grubuna göre inceler. Bir kategori için düzeltme oranları yüksekse, o kategori manuel kalır.
Ana modeller arasında nasıl seçim yaparsınız?
Varsaymak yerine test edin. Üç farklı kategoriden elli ürün fotoğrafı alın, aynı istemi iki veya üç modelden geçirin ve çıktıları özellik doğruluğu, ton ve format uyumluluğu açısından puanlayın. Katalog ölçeğinde görüntü başına fiyat ve hız önemlidir, bu yüzden bunları da kaydedin.
Platform uyumu da önemlidir. Google Cloud üzerindeki bir mağaza Gemini’yi bağlamayı en kolay bulabilir; halihazırda OpenAI API kullanan bir ekip GPT-4o’yu tercih edebilir. Halka açık bir liderlik tablosundaki en iyi model, fotoğraflarınız ve özellik listeniz için her zaman en iyisi değildir.
Multimodal çıktıyı bir katalog boyunca nasıl tutarlı tutarsınız?
Tutarlılık sabit kelime dağarcığından gelir. Modele her kategori için izin verilen renklerin, desenlerin ve stillerin tam listesini verin ve ondan yalnızca bu listeden seçim yapmasını isteyin. Serbest biçimli cevaplar aynı ton için “lacivert”, “koyu mavi” ve “gece mavisi” üretir, bu da filtreleri bozar.
Adlandırılmış alanlara sahip JSON gibi yapılandırılmış çıktı isteyin ve içe aktarmadan önce doğrulayın. Kısa bir komut dosyası, izin verilen listenin dışındaki herhangi bir değeri reddedebilir ve o ürünü inceleme için geri gönderebilir. Bu, her sezon binlerce ürün geçse bile mağazanın filtrelerini temiz tutar.
Bu hafta nereden başlamalı
En yeni koleksiyonunuzdan zayıf açıklamaları olan yirmi ürünü dışa aktarın. Ana fotoğrafı ve tedarikçi verilerini alan ve sabit bir formatta başlık, beş özellik ve alt metin döndüren bir istem yazın. Çalıştırın, her alanı gerçek ürünle karşılaştırın ve düzeltmeleri sayın. Bu tek sayı, tüm kataloğa ölçekleyip ölçeklemeyeceğinizi size söyler.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu