Multimodal AI, tək bir sorğuda şəkillər, mətn, səs və video kimi birdən çox giriş növünü qəbul edə və onlar haqqında mühakimə yürüdə bilən modellərə aiddir. GPT-4o, Gemini və Claude məhsul şəklinə baxa və onu təsvir edə, mətnlə müqayisə edə və ya onun haqqında suallara cavab verə bilər. E-ticarət brendləri üçün bu, nəticəni bir insanın yoxlaması şərti ilə daha sürətli kataloq işi, daha yaxşı axtarış və daha ağıllı dəstək deməkdir.
Modeli nə multimodal edir?
Köhnə sistemlər hər iş üçün ayrı modellərə ehtiyac duyurdu: biri mətni oxumaq, digəri şəkilləri etiketləmək, üçüncüsü səsi transkripsiya etmək üçün. Multimodal modellər bir neçə girişi birlikdə idarə edir, buna görə də siz bir paltarın şəklini göndərib bir addımda məhsul adı, beş atribut və qulluq təlimatı istəyə bilərsiniz.
Bəzi modellər mətndən daha çox şey istehsal edir. Imagen və ya ChatGPT-dəki şəkil funksiyası kimi şəkil generatorları vizuallar yaradır və səs rejimləri cavabları ucadan səsləndirir. Əksər e-ticarət tapşırıqları üçün isə faydalı istiqamət şəkil daxil, strukturlaşdırılmış mətn çıxışıdır.
Multimodal AI kataloq işini necə sürətləndirə bilər?
Kataloq zənginləşdirilməsi adətən ilk və ən praktik istifadədir. Təchizatçılar az məlumat göndərirlər: SKU, qiymət və şəkil. Hər mövsüm yüzlərlə yeni məhsul üçün başlıqlar, təsvirlər və filtrlər yazmaq komandaya həftələr alır.
- Şəkillərdən atributları çıxarın: rəng, naxış, yaxalıq, material görünüşü, üslub.
- Şablonunuza və simvol limitlərinizə uyğun başlıqlar və təsvirlər hazırlayın.
- Əlçatanlıq və şəkil axtarışı üçün şəkil alt mətnini yazın.
- Təlimatları pozan şəkilləri işarələyin: yanlış fon, su nişanı, kəsilmiş məhsul.
- Şəkil ilə təchizatçının mətni arasındakı uyğunsuzluqları, məsələn, qara kimi qeyd olunan mavi məhsulu aşkar edin.
Material, ölçü və uyğunluq şəkildən etibarlı şəkildə oxuna bilməz. Model parçanın kətan kimi göründüyünü deyə bilər, lakin bunu yalnız təchizatçının spesifikasiya vərəqi təsdiqləyə bilər. Qaytarılmalara və ya hüquqi etiketləməyə təsir edən faktları təchizatçı məlumatları ilə bağlı saxlayın və modeli təsvir və vizual atributlar üçün istifadə edin.
Hansı müştəri yönümlü istifadələr bu gün işləyir?
Vizual axtarış
Alıcılar şəkil yükləyir və oxşar məhsulları görürlər. Google Lens artıq insanları bu şəkildə axtarış etməyə öyrədir. Algolia, Bloomreach və Klevu kimi axtarış provayderləri və əsas bulud platformaları mağazaya əlavə edilə bilən şəkil oxşarlığı funksiyaları təklif edir.
Şəkillərlə dəstək
Müştərilər zədələnmiş məhsulun, yanlış çatdırılmanın və ya yerinə yetirə bilmədikləri montaj addımının şəklini göndərə bilərlər. Multimodal köməkçi problemi təsnif edə, düzgün izləmə sualını verə və işi yönləndirə bilər. Qaytarılmalar və dəyişdirmələr hələ də insan təsdiqinə ehtiyac duymalıdır.
Alış-veriş köməkçiləri
Shopify-ın Sidekick kimi köməkçiləri tacirlər üçün işləyir, müştəri yönümlü köməkçilər isə şəkil, ölçülər və rəyləri birləşdirərək “bu lampa kiçik masaya sığarmı?” kimi suallara cavab verir. Cavablar sizin məlumatlarınızdan gəlməlidir; ölçüləri təxmin edən köməkçi qaytarılmalara səbəb olur.
Multimodal AI rəylər və məzmunla necə kömək edə bilər?
Bir çox alıcı şəkil və video rəyləri yerləşdirir. Model bu şəkilləri təkrarlanan problemlər üçün skan edə bilər, məsələn, cırılan qayış və ya məhsul səhifəsindən fərqli görünən rənglər və onları məhsul komandası üçün ümumiləşdirə bilər. Bu, rəy məzmununu keyfiyyətli rəy dövrünə çevirir.
Marketinq tərəfində modellər reklam yaradıcılarının açılış səhifəsi məhsulu ilə uyğunluğunu yoxlaya, istifadəçi tərəfindən yaradılan məzmunu yenidən yerləşdirilməzdən əvvəl nəzərdən keçirə və məhsul videolarını yazılı təlimatlara çevirə bilər. Hər biri mühakimə vaxtına deyil, baxış vaxtına qənaət edir.
Risklər və məhdudiyyətlər nələrdir?
Multimodal modellər hələ də şəkilləri səhv oxuyur. Etiketlərdəki kiçik mətn, incə rəng fərqləri və məşğul şəkildəki əşyaların sayılması ümumi uğursuzluq nöqtələridir. Onlar həmçinin orada olmayan şeyləri əminliklə təsvir edə bilərlər.
- Təchizatçı təsdiqi olmadan təhlükəsizliyə, allergiyaya və ya hüquqi etiketlərə təsir edən atributları heç vaxt dərc etməyin.
- Ən çox satılanlar üçün rəng təsvirlərini fiziki nümunə ilə yoxlayın.
- Miqyaslamadan əvvəl modeli öz şəkillərinizin etiketli nümunəsi üzərində sınaqdan keçirin.
- Məlumat müqaviləsi olmadan üzləri və ya ünvanları olan müştəri şəkillərini alətlərə göndərməyin.
- Hər bir partiya üçün model versiyasını və sorğunu qeyd edin.
Alien Road multimodal AI-ni necə tətbiq edir
AI optimallaşdırma komandamız adətən kataloq zənginləşdirilməsi ilə başlayır, çünki onun aydın əvvəl və sonrakı vəziyyəti var. Kəşf, çatışmayan atributlar, zəif başlıqlar və olmayan alt mətn üçün məhsul səhifələrinin nümunəsini nəzərdən keçirmək və kateqoriya üzrə atribut siyahısı ilə razılaşmaq deməkdir.
Quraşdırma, şəkil və təchizatçı məlumatlarını götürən və tacirlərin idxaldan əvvəl nəzərdən keçirdiyi strukturlaşdırılmış sahələri qaytaran kateqoriya üzrə sorğu şablonunu əhatə edir. Biz əvvəlcə bir neçə yüz məhsul üzərində sınaqdan keçiririk və neçə sahənin düzəlişə ehtiyacı olduğunu ölçürük.
Ölçmə, siyahıya alınan məhsul başına vaxta, filtr əhatə dairəsinə və zənginləşdirilmiş kateqoriyalar üçün sayt daxili axtarış çıxışlarında və konversiyada müqayisə qrupu ilə müqayisədə dəyişikliklərə baxır. Əgər bir kateqoriya üçün düzəliş dərəcələri yüksəkdirsə, həmin kateqoriya əl ilə qalır.
Əsas modellər arasında necə seçim edirsiniz?
Fərz etməkdənsə, sınaqdan keçirin. Üç fərqli kateqoriyadan əlli məhsul şəkli götürün, eyni sorğunu iki və ya üç model vasitəsilə işlədin və nəticələri atribut dəqiqliyi, ton və format uyğunluğu üçün qiymətləndirin. Şəkil başına qiymət və sürət kataloq miqyasında vacibdir, ona görə də onları da qeyd edin.
Platforma uyğunluğu da sayılır. Google Cloud-da olan mağaza Gemini-ni qoşmağı ən asan tapa bilər; artıq OpenAI API-dən istifadə edən komanda GPT-4o-ya üstünlük verə bilər. İctimai liderlər lövhəsindəki ən yaxşı model həmişə sizin şəkilləriniz və atribut siyahınız üçün ən yaxşısı deyil.
Multimodal çıxışı kataloq boyu necə ardıcıl saxlayırsınız?
Ardıcıllıq sabit lüğətlərdən gəlir. Modelə hər kateqoriya üçün icazə verilən rənglərin, naxışların və üslubların dəqiq siyahısını verin və ondan yalnız bu siyahıdan seçməsini istəyin. Sərbəst cavablar eyni çalar üçün “dəniz mavisi”, “tünd mavi” və “gecə yarısı” yaradır ki, bu da filtrləri pozur.
Adlandırılmış sahələri olan JSON kimi strukturlaşdırılmış çıxış tələb edin və idxaldan əvvəl onu təsdiqləyin. Qısa bir skript icazə verilən siyahıdan kənar istənilən dəyəri rədd edə və həmin məhsulu nəzərdən keçirilməsi üçün geri göndərə bilər. Bu, hər mövsüm minlərlə məhsul keçsə belə, mağazanın filtrlərini təmiz saxlayır.
Bu həftə haradan başlamaq lazımdır
Ən yeni kolleksiyanızdan nazik təsvirləri olan iyirmi məhsulu ixrac edin. Əsas şəkli və təchizatçı məlumatlarını götürən və sabit formatda başlıq, beş atribut və alt mətn qaytaran bir sorğu yazın. Onu işlədin, hər bir sahəni real məhsulla yoxlayın və düzəlişləri sayın. Bu tək rəqəm sizə tam kataloqa keçib-keçməməyi deyir.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması