Малые языковые модели — это компактные модели AI, обычно имеющие несколько миллиардов параметров или меньше, которые справляются с узкими задачами, такими как классификация, извлечение данных и краткое переписывание, за долю стоимости крупных моделей. Их затраты складываются из хостинга или низких комиссий API за токен, а также затрат на настройку и оценку. ROI достигается за счет снижения расходов и ускорения ответов при выполнении задач с большим объемом, по сравнению с базовой линией крупной модели при том же уровне качества.
Что считается малой языковой моделью?
Строгого определения нет, но этот термин обычно охватывает модели, которые могут работать на одном GPU, ноутбуке или даже телефоне. Примеры включают семейство Phi от Microsoft, модели Gemma от Google, меньшие варианты Llama от Meta, компактные модели Mistral и малые версии Qwen. Облачные провайдеры также продают малые уровни своих собственных моделей, такие как варианты “mini”, “flash” или “haiku”.
Компромисс очевиден: меньшие модели дешевле и быстрее, но обладают меньшими общими знаниями и более слабыми способностями к рассуждению в сложных задачах. Они показывают лучшие результаты, когда задача четко определена.
Какие маркетинговые задачи подходят для малых моделей?
- Классификация обращений в поддержку, отзывов или лидов по фиксированным категориям.
- Извлечение полей из текста, например, атрибутов товара из описаний поставщиков.
- Тегирование тональности в комментариях в социальных сетях.
- Краткое переписывание со строгими правилами, например, сокращение названий товаров до ограничения по длине.
- Маршрутизация: решение о том, какая более крупная модель или очередь специалистов должна обрабатывать запрос.
Задачи, требующие широких знаний, длинных документов или тщательного рассуждения, такие как резюме стратегий или длинный контент, по-прежнему лучше подходят для крупных моделей.
Где возникают затраты?
Вариант 1: размещенные малые модели через API
Многие провайдеры предлагают малые модели через API, оплачиваемые за токен по тарифам, значительно ниже, чем у их флагманских моделей. Настройка быстрая, и нет инфраструктуры для запуска.
Вариант 2: самостоятельно размещаемые модели с открытыми весами
Модели с открытыми весами могут быть запущены на ваших собственных серверах или облачных GPU с помощью таких инструментов, как vLLM, Ollama или llama.cpp. Вы платите за вычисления, независимо от того, занята ли модель, плюс время инженеров на развертывание, мониторинг и обновления. Самостоятельное размещение обычно окупается, когда объем высокий и стабильный, или когда данные должны оставаться внутри вашей инфраструктуры.
Общие затраты
- Оценка: создание тестового набора и сравнение моделей.
- Работа с промптами или дообучение (fine-tuning), что малым моделям часто требуется больше, чем крупным.
- Мониторинг снижения качества с течением времени.
Как составить бюджет?
Начните с объема задач и текущих затрат, если они есть. Например, компания электронной коммерции может классифицировать 50 000 отзывов клиентов в месяц и в настоящее время отправлять их все в крупную модель.
- Оцените количество токенов на элемент и количество элементов в месяц.
- Оцените стоимость базовой линии крупной модели по текущим тарифам.
- Оцените два или три варианта малых моделей: размещенный API и, если применимо, собственные вычисления.
- Добавьте часы настройки для оценки и настройки промптов.
- Добавьте ежемесячное пособие на мониторинг и повторное тестирование.
Рассчитайте месяц окупаемости для каждого варианта. Размещенные малые модели часто окупаются почти сразу; самостоятельное размещение обычно требует большего объема.
Как доказать, что качество достаточно хорошее?
Экономия затрат ничего не значит, если качество вывода падает ниже того, что приемлемо для бизнеса. Создайте набор для оценки перед выбором.
- Соберите несколько сотен реальных примеров с правильными ответами, согласованными человеком.
- Запустите крупную модель и каждую малую модель на одном и том же наборе.
- Оцените точность, соответствие формату и типы ошибок.
- Установите минимально приемлемый балл с владельцем бизнеса.
Часто малая модель достигает планки в большинстве категорий, но проваливается в нескольких. Распространенный шаблон — маршрутизация: малая модель обрабатывает элементы, в которых она уверена, а остальные идут в более крупную модель или к человеку.
Какие метрики ROI следует отчитывать?
- Стоимость обработки одного элемента, до и после.
- Ежемесячные расходы на задачу.
- Точность по сравнению с набором для оценки, проверяемая ежемесячно на свежих выборках.
- Медианное время отклика, важное для функций реального времени, таких как маршрутизация чата.
- Доля элементов, переданных в более крупную модель или человеку.
Представляйте затраты и качество вместе. Экономия, которая сопровождается скрытым уровнем ошибок, обычно возвращается в виде переделки.
Как Alien Road применяет малые языковые модели в оптимизации AI
Типичное сотрудничество начинается с обзора текущего использования AI и счетов клиента. Команда перечисляет задачи по объему и сложности и помечает задачи с высоким объемом и узкой направленностью как кандидатов для малых моделей.
Настройка включает создание набора для оценки на основе реальных данных клиента, тестирование сначала размещенных малых моделей, а затем собственных вариантов только там, где объем или правила данных их оправдывают. Правила маршрутизации отправляют неопределенные элементы в более крупную модель.
Измерение проводится ежемесячно: стоимость за элемент, точность на свежих выборках, доля эскалации и время отклика. Отчет рекомендует, следует ли расширить использование малых моделей на другую задачу или скорректировать порог маршрутизации. Выбор моделей пересматривается, когда провайдеры выпускают новые малые уровни, так как самая дешевая модель, проходящая набор для оценки, со временем меняется.
Краткий сценарий: тегирование отзывов для продавца на маркетплейсе
Рассмотрим продавца на маркетплейсе, который тегирует каждый входящий отзыв о товаре по теме: размер, качество, доставка, упаковка и цена. В настоящее время он использует для этого крупную модель, и счет растет вместе с объемом отзывов. Команда вручную размечает четыреста отзывов и тестирует две размещенные малые модели против крупной.
Одна малая модель соответствует крупной модели по четырем из пяти тем, но путает жалобы на упаковку и доставку. Продавец добавляет правило маршрутизации: отзывы, упоминающие коробки, курьеров или повреждения, идут в крупную модель, все остальное — в малую. Стоимость одного отзыва резко падает, точность на тестовом наборе остается выше согласованной планки, а порог маршрутизации пересматривается ежемесячно.
С чего начать на этой неделе
Найдите задачу AI с самым высоким объемом в вашем стеке и экспортируйте выборку из нескольких сотен входных данных. Вручную разметьте правильные выходные данные. Запустите эту выборку через малую размещенную модель и сравните результаты с вашей текущей моделью. Если малая модель близка, у вас есть веские основания для пилота; если нет, вы узнали это дешево. В любом случае сохраните размеченную выборку. Она становится набором для оценки для любого будущего решения по модели в этой задаче, и ее повторный запуск ничего не стоит, когда цены или модели меняются.
Продолжить чтение: ИИ-оптимизация · ИИ-оптимизация