Мультимодальный ИИ для e-commerce: кейсы

Старым системам требовались отдельные модели для каждой задачи: одна для чтения текста, другая для тегирования изображений, третья для транскрибирования аудио. Мультимодальные модели обрабатывают несколько входных данных вместе, поэтому вы можете отправить фотографию платья и запросить название товара, пять атрибутов и инструкцию по уходу за один шаг.

Некоторые модели также производят больше, чем просто текст. Генераторы изображений, такие как Imagen или функция изображений в ChatGPT, создают визуальные эффекты, а голосовые режимы озвучивают ответы. Однако для большинства задач электронной коммерции полезным направлением является: изображение на входе, структурированный текст на выходе.

Обогащение каталога обычно является первым и самым практичным применением. Поставщики присылают скудные данные: артикул, цену и фотографию. Написание названий, описаний и фильтров для сотен новых товаров каждый сезон занимает у команды недели.

• Извлекайте атрибуты из фотографий: цвет, узор, вырез, внешний вид материала, стиль.
• Составляйте названия и описания, которые следуют вашему шаблону и ограничениям по количеству символов.
• Пишите замещающий текст (alt text) для доступности и поиска по изображениям.
• Отмечайте фотографии, которые нарушают правила: неправильный фон, водяной знак, обрезанный товар.
• Выявляйте несоответствия между фотографией и текстом поставщика, например, синий товар, указанный как черный.

Материал, размер и посадка не могут быть надежно считаны с фотографии. Модель может сказать, что ткань выглядит как лен, но только спецификация поставщика может это подтвердить. Держите факты, влияющие на возвраты или юридическую маркировку, привязанными к данным поставщика, и используйте модель для описаний и визуальных атрибутов.

Визуальный поиск

Покупатели загружают фотографию и видят похожие товары. Google Lens уже приучает людей искать таким образом. Поисковые провайдеры, такие как Algolia, Bloomreach и Klevu, а также основные облачные платформы, предлагают функции сходства изображений, которые можно добавить в магазин.

Поддержка с помощью фотографий

Клиенты могут отправить фотографию поврежденного товара, неправильной доставки или этапа сборки, который они не могут выполнить. Мультимодальный помощник может классифицировать проблему, задать правильный уточняющий вопрос и маршрутизировать обращение. Возвраты и замены все равно должны требовать одобрения человека.

Помощники по покупкам

Помощники, такие как Sidekick от Shopify, работают для продавцов, в то время как клиентские помощники отвечают на вопросы вроде “подойдет ли эта лампа на маленький стол?”, объединяя фотографию, размеры и отзывы. Ответы должны исходить из ваших данных; помощник, который угадывает размеры, создает возвраты.

Многие покупатели публикуют отзывы с фото и видео. Модель может сканировать эти изображения на предмет повторяющихся проблем, таких как изнашивающийся ремешок или цвета, которые выглядят иначе, чем на странице товара, и суммировать их для команды по продукту. Это превращает контент отзывов в цикл обратной связи по качеству.

Что касается маркетинга, модели могут проверять, соответствуют ли рекламные креативы товару на целевой странице, просматривать пользовательский контент перед его повторной публикацией и превращать видео о товарах в письменные руководства. Каждое из них экономит время на проверку, а не время на суждение.

Мультимодальные модели все еще неправильно считывают изображения. Мелкий текст на этикетках, тонкие различия в цвете и подсчет товаров на загруженной фотографии — распространенные точки отказа. Они также могут уверенно описывать вещи, которых там нет.

• Никогда не публикуйте атрибуты, влияющие на безопасность, аллергии или юридические этикетки, без подтверждения поставщика.
• Сверяйте описания цветов с физическим образцом для самых продаваемых товаров.
• Протестируйте модель на размеченном образце ваших собственных фотографий перед масштабированием.
• Не отправляйте фотографии клиентов, содержащие лица или адреса, в инструменты без соглашения о данных.
• Ведите журнал версии модели и промпта для каждой партии.

Тестируйте, а не предполагайте. Возьмите пятьдесят фотографий товаров из трех разных категорий, прогоните один и тот же промпт через две или три модели и оцените результаты по точности атрибутов, тону и соответствию формату. Цена за изображение и скорость важны при масштабировании каталога, поэтому записывайте и их.

Соответствие платформе также имеет значение. Магазину на Google Cloud может быть проще подключить Gemini; команда, уже использующая OpenAI API, может предпочесть GPT-4o. Лучшая модель в публичном рейтинге не всегда лучшая для ваших фотографий и вашего списка атрибутов.

Согласованность достигается за счет фиксированных словарей. Дайте модели точный список разрешенных цветов, узоров и стилей для каждой категории и попросите ее выбирать только из этого списка. Свободные ответы создают “темно-синий”, “синий” и “полуночный” для одного и того же оттенка, что ломает фильтры.

Запрашивайте структурированный вывод, например JSON с именованными полями, и проверяйте его перед импортом. Короткий скрипт может отклонить любое значение вне разрешенного списка и отправить этот товар обратно на проверку. Это сохраняет фильтры магазина чистыми, даже когда каждый сезон проходят тысячи товаров.