Малые языковые модели — это компактные модели ИИ, обычно с несколькими миллиардами параметров или меньше, которые работают быстро и дешево, иногда прямо на ноутбуке или телефоне. Для маркетологов они подходят для узких, повторяющихся задач, таких как тегирование контента, классификация лидов, составление коротких вариантов текста и обобщение отзывов, где дополнительные возможности рассуждения большой модели увеличивают затраты, не добавляя особой ценности.
Что считается малой языковой моделью?
Официального порога нет, но этот термин обычно охватывает модели от менее чем одного миллиарда до примерно десяти миллиардов параметров. Примеры включают семейство Phi от Microsoft, Gemma от Google, меньшие варианты Llama от Meta, компактные модели Mistral и небольшие релизы Qwen. Apple и Google также поставляют модели на устройстве в своих операционных системах.
Большие пограничные модели, напротив, намного больше и обычно работают только в центре обработки данных провайдера. Разрыв между ними сократился. Хорошо обученные малые модели теперь хорошо справляются со многими повседневными языковыми задачами, хотя они все еще отстают в длительных рассуждениях, широких знаниях о мире и сложных инструкциях.
Почему маркетинговая команда должна заботиться об этом?
Три причины: стоимость, скорость и конфиденциальность. Малая модель стоит долю от стоимости за запрос, отвечает в мгновение ока и может работать на оборудовании, которое вы контролируете, поэтому данные клиентов не должны покидать ваши системы.
Это важно, когда объем высок. Тегирование 50 000 комментариев в блогах или электронных писем поддержки с помощью большой модели возможно, но это медленно, и счет быстро растет. Малая модель, обученная или настроенная для этой одной задачи, часто справляется с ней достаточно хорошо.
Какие маркетинговые задачи подходят для малых моделей?
Паттерн прост: короткий ввод, четкий формат вывода, узкая область. Если вы можете описать правильный ответ одним предложением, малую модель стоит протестировать.
- Сортировка входящих лидов по категориям, таким как диапазон бюджета, интерес к услуге или язык
- Тегирование отзывов по теме и настроению для продуктовой команды
- Написание множества коротких вариантов заголовка объявления на основе фиксированного брифа
- Извлечение атрибутов продукта, таких как цвет, размер и материал, из текста поставщика
- Обобщение стенограмм звонков в три пункта для заметки в CRM
- Определение языка сообщения и маршрутизация его в нужную команду
Задачи, которые следует оставить на больших моделях: длинные статьи, стратегические документы, многоэтапные исследования и все, что требует актуальных фактов или тщательного рассуждения по многим источникам.
Как малые модели терпят неудачу?
Они терпят неудачу тихо. Малая модель часто выдает уверенный текст, который является неверным, особенно когда ее спрашивают о фактах, которые она никогда не изучала. Она также может игнорировать части длинной инструкции или нарушить требуемый формат вывода.
Общие признаки неудачи
- Выдумывание деталей продукта, которых нет в исходном тексте
- Удаление поля из вывода JSON, когда ввод необычен
- Переключение языка в середине ответа при многоязычном вводе
- Слабая производительность на турецком, азербайджанском или других языках с меньшим количеством обучающих данных
Решение состоит в том, чтобы еще больше сузить задачу, дать два или три примера в промпте и проверить выводы с помощью кода. Если поле должно быть одним из пяти значений, проверьте его автоматически и отправьте ошибки человеку.
Стоит ли дообучать (fine-tune) малую модель?
Дообучение означает обучение модели немного больше на ваших собственных примерах. Для малых моделей это доступно и часто является шагом, который превращает слабый результат в хороший. Несколько сотен или тысяч чистых примеров могут научить модель вашим категориям и тону.
Перед дообучением сначала попробуйте хороший промпт с примерами. Если точность все еще не на том уровне, который вам нужен, соберите реальные размеченные данные из прошлой работы вашей команды. Такие методы, как LoRA, делают дообучение достаточно дешевым, чтобы запускать его на одном арендованном GPU. Сохраните отложенный тестовый набор, чтобы вы могли доказать, что дообученная модель лучше.
Как выбрать между облаком и устройством?
Запуск малой модели в облаке через провайдера, такого как Hugging Face Inference, Amazon Bedrock или Google Vertex AI, — это самый простой старт. Запуск ее на собственном сервере или ноутбуке с помощью таких инструментов, как Ollama или LM Studio, дает полный контроль и отсутствие платы за запрос.
- Облако: быстро начать, масштабируется по требованию, данные идут к провайдеру на его условиях
- Собственный сервер: фиксированная стоимость, данные остаются внутри, нужен кто-то для обслуживания
- На устройстве в приложении: нулевая стоимость сервера и использование в автономном режиме, но ограничено оборудованием пользователя
Для большинства маркетинговых команд облачный путь — это правильный первый шаг. Переходите к самостоятельному хостингу только тогда, когда объем или правила данных это оправдывают.
Как Alien Road применяет малые языковые модели
В типичном взаимодействии мы проводим аудит того, где команда клиента уже использует большие модели, и отмечаем повторяющиеся задачи, которые можно перенести на меньшую модель. Тегирование лидов и классификация отзывов встречаются чаще всего.
Мы создаем размеченный тестовый набор из собственных данных клиента, тестируем две или три малые модели против текущей большой модели и сравниваем точность и стоимость за запрос. Если малая модель соответствует планке, мы развертываем ее за простым слоем валидации, который проверяет форматы и направляет неясные случаи человеку или большей модели.
Отчеты охватывают точность на ежемесячной выборке, долю случаев, отправленных на резервный вариант, и стоимость за тысячу запросов. Клиент видит точно, где малая модель помогает, а где нет.
Сколько стоит запуск малой модели?
Точные цены часто меняются, поэтому относитесь к любой цифре как к снимку. Общий паттерн, однако, сохраняется: тарифы за токен для малых хостинговых моделей обычно составляют малую долю от тарифов пограничных моделей, а ноутбук, работающий на локальной модели, ничего не стоит за запрос после настройки.
Скрытая стоимость — это люди. Кто-то должен написать промпт, создать тестовый набор, проверить результаты и обновить настройку, когда задача меняется. Заложите несколько дней работы на первый пилот и несколько часов в месяц после этого. Если задача не выполняется достаточно часто, чтобы окупить это время, оставьте ее на большой модели, которую вы уже используете.
С чего начать на этой неделе
Выберите одну задачу сортировки или тегирования, которую ваша команда делает вручную. Экспортируйте 200 прошлых примеров с правильными метками. Установите Ollama на ноутбук, загрузите малую модель, такую как вариант Gemma или Phi, и протестируйте ее с коротким промптом и тремя примерами. Измерьте, сколько она делает правильно. Если она проходит 85–90 процентов на ваших собственных данных, планируйте небольшой пилот; если нет, вы дешево узнали, что задаче нужна большая модель.
Продолжайте читать: ИИ-оптимизация · ИИ-оптимизация