Оценка эффективности AI моделей: ключевые KPI

Модель с открытыми весами — это модель, обученные параметры которой публикуются для скачивания, обычно по лицензии, определяющей условия использования. Примеры включают семейство Llama от Meta, открытые модели Mistral, Qwen от Alibaba, Gemma от Google и модели от DeepSeek, китайской лаборатории ИИ. Открытые веса не всегда являются открытым исходным кодом в строгом смысле: данные обучения и полный код могут оставаться закрытыми.

DeepSeek привлек широкое внимание в начале 2025 года, когда его модель рассуждений DeepSeek-R1 показала результаты, близкие к ведущим закрытым моделям, в нескольких публичных тестах, при этом компания заявила о относительно низких затратах на обучение. Их модели выпускаются по разрешительным лицензиям, что позволяет компаниям запускать их на собственном оборудовании или через сторонних хостинг-провайдеров.

Для маркетинговых команд привлекательность заключается в контроле и стоимости. Вопросы в том, сохраняется ли качество на реальных задачах и какие скрытые расходы возникают при самостоятельном запуске моделей.

Публичные тесты измеряют математику, программирование и общие знания. Ваши кампании заботятся о другом. Создайте оценочную карту из четырех групп.

Качество

• Коэффициент принятия: доля результатов, одобренных без существенных правок.
• Время редактирования: минуты, которые рецензент тратит на один результат до одобрения.
• Частота фактических ошибок: ошибки, найденные на 100 результатов при выборочных проверках.
• Соблюдение инструкций: доля результатов, соответствующих правилам формата, длины и запрещенных слов, которые может проверить скрипт.

Стоимость

• Стоимость готового элемента, включая токены или оборудование, и время рецензента.
• Ежемесячные расходы на инфраструктуру при самостоятельном хостинге, включая время простоя.

Скорость

• Время до первого токена и общее время ответа для интерактивного использования.
• Пропускная способность для пакетных заданий, например, элементов, обработанных в час.

Риск

• Раскрытие данных: где обрабатываются и хранятся промпты и результаты.
• Соответствие лицензии для вашего предполагаемого коммерческого использования.
• Инциденты безопасности контента, такие как не соответствующие бренду или неуместные результаты.

Сравнение справедливо только в том случае, если каждая модель видит одни и те же входные данные в одних и тех же условиях. Соберите тестовый набор из 50–200 реальных задач из вашей работы, таких как описания продуктов, варианты рекламы, темы электронных писем и сводки отчетов. Напишите один промпт для каждого типа задачи и зафиксируйте его.

Запустите открытую модель и вашу текущую закрытую модель на всем наборе. Скройте, какая модель произвела какой результат, а затем попросите рецензентов оценить их. Слепая оценка важна, потому что люди склонны отдавать предпочтение бренду, от которого они ожидают лучшего результата.

Повторяйте тест каждый раз, когда меняете версию модели, уровень квантования или промпт. Сильно квантованная модель, которая помещается на меньший GPU, может потерять качество в задачах, требующих точности.

Запуск модели самостоятельно заменяет счет за токен на ряд других обязанностей:

• Оборудование GPU или облачные инстансы, которые стоят денег, даже когда простаивают.
• Сервисное ПО, такое как vLLM или Ollama, и кто-то для его обслуживания.
• Мониторинг, логирование и патчи безопасности.
• Обновления моделей и регрессионное тестирование.
• Время инженеров, когда что-то ломается.

Для низких или неравномерных объемов хостинг-API для открытых моделей, предлагаемые несколькими провайдерами, часто дешевле, чем владение оборудованием. Самостоятельный хостинг обычно окупается при стабильно высоком объеме или строгих требованиях к контролю данных.

Две проблемы возникают постоянно. Во-первых, собственное хостинговое приложение и API DeepSeek обрабатывают данные на серверах, подчиняющихся китайскому законодательству, и несколько правительств и организаций ограничили их использование по этой причине. Запуск открытых весов на вашей собственной инфраструктуре или инфраструктуре доверенного провайдера позволяет избежать отправки данных на серверы DeepSeek.

Во-вторых, исследователи и журналисты сообщали, что результаты модели отражают ограничения контента по определенным политическим темам. Это редко влияет на копирайтинг продуктов, но важно для новостной или PR-работы. Протестируйте темы, важные для вашего бренда, прежде чем полагаться на любую модель.

Держите ее на одном экране. Простой макет, который работает:

• Верхняя строка: стоимость готового элемента и коэффициент принятия для каждой модели, в этом месяце по сравнению с прошлым.
• Середина: распределение времени редактирования по типам задач.
• Низ: инциденты и заметки по обработке данных, плюс версия модели и дата последнего тестового запуска.

Инструментов вроде Looker Studio, Power BI или общей таблицы достаточно. Суть в том, чтобы показать тренды тем, кто решает бюджеты, а не впечатлить их графиками.

Модели с открытыми весами быстро меняются. Новые версии появляются каждые несколько месяцев, а хостинг-провайдеры иногда меняют настройки по умолчанию или квантование без особого предупреждения. Ежеквартальное повторное тестирование на фиксированном тестовом наборе — разумный ритм для большинства команд, с дополнительным запуском при смене провайдера или версии модели.

Сохраняйте каждый тестовый запуск: дату, название и версию модели, хост, версию промпта и оценки. За год эта история покажет, становится ли модель лучше для ваших задач или закрытая модель снова вырвалась вперед. Это также защищает вас от распространенной ловушки — принятия более новой модели, потому что она возглавляет публичные рейтинги, только чтобы обнаружить, что она работает хуже на вашем конкретном контенте.

Когда результаты близки, выбирайте на основе операционных соображений. Модель, которая немного слабее, но дешевле, быстрее и проще в запуске в рамках ваших правил данных, часто является лучшим бизнес-выбором.