Измерение мультимодального ИИ: KPI и дашборды

Большинство современных передовых моделей принимают изображения наряду с текстом, а некоторые обрабатывают аудио и видео. В маркетинге к общим задачам относятся чтение скриншотов рекламных дашбордов, написание замещающего текста (alt text) и описаний продуктов по фотографиям, проверка креативов на соответствие правилам бренда, транскрибирование и резюмирование видео, а также извлечение данных из PDF или отсканированных документов.

Генерация также является мультимодальной: модели изображений, синтез голоса и генерация видео. Измерение генерации и понимания требует немного разных метрик, поэтому разделяйте их с самого начала.

Текстовые выводы можно довольно легко сравнить с эталонными ответами. Мультимодальным задачам часто не хватает единственного правильного ответа. Два хороших замещающих текста для одной и той же фотографии могут иметь мало общих слов. Изображение, которое следует руководству по бренду, все равно может упустить творческий замысел.

Входные данные также варьируются сильнее. Размытые фотографии, необычные ракурсы, плотные графики и акцентированная речь влияют на точность. Модель, которая хорошо работает на чистых примерах, может испытывать трудности с «грязными» файлами, которые ваша команда действительно загружает.

Выберите несколько метрик для каждого семейства задач и поддерживайте их стабильность с течением времени.

Для задач понимания

• Точность по сравнению с проверенной выборкой, оцениваемая по рубрике, такой как правильно, незначительное редактирование, значительное редактирование, неправильно.
• Точность извлечения на уровне полей для документов: доля правильных полей.
• Уровень галлюцинаций: доля выводов, описывающих что-то, чего нет во входных данных.
• Время проверки человеком на элемент, измеряемое таймером во время выборочных проверок.

Для задач генерации

• Коэффициент одобрения с первого раза: доля выводов, одобренных без изменений.
• Итерации на одобренный актив.
• Проблемы соответствия бренду, обнаруженные в партии.
• Эффективность опубликованных активов, например, рейтинг кликов в рекламе, по сравнению с предыдущим методом.

Стоимость и скорость

Отслеживайте стоимость за завершенный элемент, включая повторные попытки, и время выполнения от запроса до одобренного вывода. Изображения и аудио могут стоить за вызов гораздо дороже, чем текст, поэтому стоимость за элемент часто удивляет команды.

Собирайте реальные входные данные, а не стоковые примеры. Хороший тестовый набор включает простые случаи, типичные и сложные. Для задачи описания продукта это означает студийные снимки, пользовательские фотографии, товары с текстом на упаковке и товары, сфотографированные на фоне занятых фонов.

Стремитесь к не менее чем 100 элементам на задачу. Пусть два человека согласуют, что содержит приемлемый вывод, и запишите это как контрольный список, а не как идеальный ответ. Контрольные списки лучше подходят для мультимодальных задач, чем точные эталоны.

Ограничьтесь одним экраном на семейство задач:

• Еженедельный тренд точности или одобрения с первого раза.
• Количество галлюцинаций со ссылками на примеры.
• Медианное время проверки человеком на элемент.
• Стоимость за элемент и общие расходы.
• Обработанный объем.
• Одна бизнес-метрика, например, количество опубликованных страниц продуктов в неделю или протестированных вариантов рекламы.

Ссылки на примеры важны. Одно число не говорит проверяющему, что пошло не так; три плохих примера обычно говорят. Храните эти примеры в общей папке с датой и версией модели, чтобы история ошибок оставалась доступной после того, как цифры на дашборде изменятся.

Запустите один и тот же тестовый набор через каждого кандидата с одними и теми же инструкциями. Оценивайте вслепую, если можете, чтобы проверяющие не знали, какая модель произвела какой вывод. Обратите внимание, что настройки разрешения изображения, которые предоставляют некоторые API, меняют как точность, так и стоимость.

Повторяйте сравнение при обновлении моделей. Поставщики часто выпускают новые версии, и рейтинг между ними в вашей конкретной задаче может измениться.

Следите за ними:

• Тестирование на чистых образцах и развертывание на «грязных» загрузках.
• Подсчет сэкономленного времени без учета времени проверки.
• Игнорирование галлюцинаций, потому что вывод читается хорошо.
• Изменение промптов и моделей одновременно, поэтому вы не можете сказать, что помогло.
• Измерение объема вывода без привязки к бизнес-результату.

Назначьте одного человека на семейство задач, чтобы он отвечал за цифры. Его работа небольшая, но регулярная: проводите еженедельную выборочную проверку, обновляйте тестовый набор, когда появляется новый тип ошибки, и отмечайте любое изменение промпта или модели в журнале изменений рядом с дашбордом.

Без назначенного владельца дашборд создается один раз и забрасывается. Журнал изменений особенно полезен. Когда точность падает, первый вопрос всегда — что изменилось, и датированный список правок быстро отвечает на него. Это также помогает при представлении результатов руководству, потому что вы можете показать, какие корректировки улучшили точность, а какие нет.