Измерение малых языковых моделей означает доказательство того, что более дешевая и быстрая модель справляется с конкретной задачей достаточно хорошо, и демонстрация экономии в цифрах. Малые модели, такие как Microsoft Phi, Google Gemma, меньшие варианты Llama от Meta и Mistral Small, могут работать недорого через API или на вашем собственном оборудовании. Важными KPI являются качество выполнения задачи, задержка, стоимость задачи и бизнес-результат, который поддерживает эта задача.
Почему малые языковые модели нуждаются в собственном измерении?
Большие модели часто выбирают из-за их репутации. Малые модели выбирают на основе компромисса: вы принимаете некоторую потерю общих способностей ради скорости, стоимости и контроля. Этот компромисс безопасен только тогда, когда вы можете его видеть. Без измерений команда либо переплачивает за большую модель для простых задач, либо незаметно внедряет малую модель, которая ошибается в одном из десяти ответов.
Малые модели также, как правило, более узкоспециализированы. Модель, которая хорошо тегирует тикеты поддержки, может писать плохие рекламные тексты. Измерение должно проводиться по задачам, а не по моделям.
Что следует измерять в первую очередь?
Начните с четырех групп метрик. Каждая отвечает на разный вопрос от разных людей в бизнесе.
- Качество: соответствует ли результат стандарту? Измеряется на размеченном тестовом наборе.
- Задержка: сколько времени занимает ответ? Измеряется как медиана и 95-й перцентиль времени.
- Стоимость: сколько стоит одна выполненная задача, включая повторные попытки и исправления человеком?
- Влияние на бизнес: изменился ли целевой KPI, такой как время ответа, конверсия или сэкономленные часы?
Качество и стоимость обычно наиболее важны для маркетинговых команд. Задержка важна для всего, чего ждет клиент, например, чата или поиска на сайте.
Метрики качества по типу задачи
Метрика качества зависит от работы. Для задач классификации, таких как скоринг лидов, тегирование намерений или анализ тональности, используйте точность (accuracy), прецизионность (precision) и полноту (recall) по отношению к меткам, назначенным человеком. Для задач извлечения считайте долю правильно заполненных полей. Для задач написания используйте рубрикатор, оцениваемый людьми или более сильной моделью, выступающей в роли судьи, с выборкой, проверяемой людьми для подтверждения согласия судьи.
Стоимость задачи, а не стоимость токена
Цены на токены выглядят крошечными и вводят в заблуждение. Рассчитывайте стоимость одной выполненной задачи: токены на задачу, умноженные на цену, плюс стоимость повторных попыток, плюс минуты, которые человек тратит на исправление плохих результатов. Малая модель, требующая частых исправлений, может стоить в сумме дороже, чем большая модель, которая этого не делает.
Как создать набор для оценки?
Набор для оценки — это фиксированная коллекция реальных входных данных с известными хорошими результатами. Это фундамент каждого числа на вашем дашборде.
- Соберите от 100 до 300 реальных примеров из задачи, а не выдуманных.
- Пусть человек разметит или напишет правильный результат для каждого из них.
- Включите сложные случаи: опечатки, смешанные языки, пограничные категории.
- Заморозьте набор и присвойте ему номер версии.
- Запускайте каждую модель-кандидат и промпт на одном и том же наборе.
Держите отдельный небольшой набор новых примеров, собираемых каждый месяц. Если производительность на свежих данных падает, а замороженный набор остается стабильным, значит, ваши реальные входные данные изменились, и модель или промпт нуждаются в обновлении.
Как выглядит полезный дашборд?
Дашборд для малых языковых моделей должен помещаться на одном экране и отвечать на три вопроса: работает ли это, дешево ли это и помогает ли это. Looker Studio, Power BI или Grafana — все они подходят; важно то, какие данные стоят за ними.
Верхний ряд: работоспособность
Запросы в день, частота ошибок, медиана и 95-й перцентиль задержки. Они поступают прямо из логов приложения. Внезапное изменение здесь обычно означает техническую проблему, а не проблему модели.
Средний ряд: качество
Последний балл на замороженном наборе для оценки, балл на ежемесячной свежей выборке и уровень ручного вмешательства, который представляет собой долю результатов, измененных человеком перед использованием. Уровень вмешательства часто является самым честным сигналом качества, который у вас есть в продакшене.
Нижний ряд: ценность
Стоимость задачи с течением времени, сэкономленные часы в месяц (задачи, умноженные на сэкономленные минуты на задачу, измеренные один раз путем замера времени работы людей) и бизнес-KPI, привязанный к задаче. Для модели тегирования лидов это может быть время от заполнения формы до первого контакта отдела продаж.
Как сравнить малую модель с большой?
Запустите обе на одном и том же наборе для оценки с той же структурой промпта. Постройте график зависимости качества от стоимости задачи. Часто результат ясен: малая модель достигает большей части балла большой модели за долю стоимости на узких задачах и сильно отстает в написании текстов или рассуждениях. Затем принимайте решение по каждой задаче.
Распространена настройка маршрутизации: малая модель обрабатывает задачу первой, а случаи, где она сообщает о низкой уверенности или где простое правило отмечает сомнение, передаются большой модели. Измеряйте долю трафика, перенаправляемого вверх; если она растет, малая модель больше не подходит.
Как Alien Road применяет малые языковые модели и измеряет их
В типичном проекте наша команда AI Optimization составляет список задач ИИ клиента и их текущую модель, затем выбирает высокообъемные, узкие задачи в качестве кандидатов для малой модели, такие как извлечение атрибутов продукта, тегирование отзывов или классификация лидов.
Мы создаем набор для оценки на собственных данных клиента, тестируем две или три малые модели против текущей и настраиваем логирование задержки, стоимости и ручных исправлений. Дашборд доставляется в собственном BI-инструменте клиента, поэтому он не зависит от нас.
Отчетность ежемесячная: качество на замороженных и свежих наборах, стоимость задачи, уровень ручного вмешательства и связанный бизнес-KPI, с кратким примечанием о любых изменениях модели или промпта, сделанных в этом месяце.
Какие ошибки делают цифры вводящими в заблуждение?
Самая распространенная — тестирование на выдуманных примерах, которые чище реальных данных и завышают баллы. Вторая — игнорирование времени на исправление человеком, что скрывает реальную стоимость. Третья — одновременное изменение промпта и модели, поэтому никто не знает, какое изменение помогло. Меняйте одну вещь за тест.
Еще одна ловушка — позволять одной модели оценивать другую без проверок. У модели-судьи есть свои предвзятости, включая предпочтение более длинных ответов. Проверяйте выборку ее оценок вручную каждый месяц.
С чего начать на этой неделе
Выберите одну высокообъемную задачу, которую ваша команда уже выполняет через большую модель. Возьмите 100 реальных входных данных с их принятыми результатами, запустите малую модель против них с тем же промптом и сравните точность и стоимость задачи в простой таблице. Это единственное сравнение скажет вам, стоит ли строить дашборд дальше.
Читать далее: ИИ-оптимизация · ИИ-оптимизация