Малые языковые модели — это модели ИИ с гораздо меньшим количеством параметров, чем у передовых систем, обычно от менее миллиарда до нескольких десятков миллиардов, которые могут дешево работать в облаке или на одной машине. В маркетинговой работе они лучше всего подходят для узких, повторяющихся задач, таких как классификация поисковых запросов, тегирование контента, очистка данных и маршрутизация сообщений, где скорость, стоимость и контроль данных важнее, чем широкие рассуждения.
Известные семейства включают модели Phi от Microsoft, Gemma от Google, меньшие варианты Llama от Meta, компактные модели Mistral и линейку Qwen от Alibaba, а также уровни “mini”, “flash” или “haiku”, которые крупные провайдеры предлагают через свои API. Многие модели с открытыми весами можно загрузить и запустить локально с помощью таких инструментов, как Ollama, llama.cpp или LM Studio, поэтому данные никогда не покидают собственное оборудование компании.
В чем разница между малой и большой моделью?
Размер влияет на то, что модель знает и насколько хорошо она рассуждает на многих этапах. Большая передовая модель может составить стратегию, следовать длинным инструкциям и обрабатывать необычные запросы. Малая модель более узкая: она быстро справляется с четкой, хорошо определенной задачей, но с большей вероятностью споткнется на неоднозначных инструкциях или вопросах вне ее обучения.
Практические различия заключаются в стоимости и скорости. Малая модель может обработать тысячи коротких элементов за то время, пока большая модель обрабатывает их часть, по гораздо более низкой цене за элемент. Когда задача звучит как “распределить эти 50 000 поисковых запросов по двенадцати группам намерений”, эта разница решает, является ли проект доступным.
Какие маркетинговые задачи подходят для малых моделей?
Общая черта — большой объем, короткие входные данные и фиксированный набор возможных выходных данных.
- Классификация поисковых запросов: сортировка поисковых запросов Google Ads по группам намерений или кандидатам в минус-слова.
- Тегирование контента: назначение категорий, тем или типов продуктов тысячам страниц или публикаций.
- Маркировка тональности и тем для отзывов, социальных комментариев и ответов на опросы.
- Очистка данных: нормализация названий компаний, должностей или адресов в экспортах CRM.
- Маршрутизация: решение о том, какая команда должна обрабатывать входящую форму или сообщение.
- Определение языка и простые проверки перевода для многоязычного контента.
Задачи, требующие суждения, творчества или длинных документов, обычно остаются за большими моделями или людьми.
Почему важно запускать модель локально?
Некоторые данные вообще не должны попадать в API сторонних разработчиков: списки клиентов, невыпущенные планы кампаний, медицинские или финансовые данные. Малая модель с открытыми весами, работающая на собственном сервере клиента или в частном облаке, сохраняет эти данные на месте, что упрощает соблюдение GDPR и турецкого закона KVKK.
Локальные модели также обеспечивают предсказуемые расходы. Как только оборудование установлено, обработка еще ста тысяч строк стоит электроэнергии, а не комиссий API. Компромисс — обслуживание: кто-то должен обновлять, контролировать и обеспечивать безопасность установки.
Как Alien Road применяет малые языковые модели
В типичном взаимодействии наша команда по оптимизации ИИ использует малые модели как рабочих внутри более крупных конвейеров, а не как инструменты для чата. Открытие начинается со списка задач: мы ищем повторяющиеся задачи классификации или очистки, которые люди в настоящее время выполняют в электронных таблицах, и оцениваем объем в месяц.
Сначала создайте размеченный образец
Прежде чем выбирать модель, мы просим специалистов клиента разметить несколько сотен реальных примеров, таких как поисковые запросы или отзывы, категориями, которые они действительно используют. Этот образец становится тестовым набором для каждой модели, которую мы пробуем.
Сравните модели на этом образце
Мы запускаем два или три кандидата, обычно малую модель с открытыми весами, малую модель API и большую модель в качестве эталона, против размеченного образца. Если малая модель соглашается с человеческими метками почти так же часто, как большая, она выигрывает по стоимости и скорости. Если нет, мы корректируем промпт, добавляем примеры или оставляем большую модель для этой задачи.
Поместите людей на края
Элементы с низкой уверенностью отправляются в очередь на проверку человеком. Для рекламных аккаунтов модель предлагает минус-слова; специалист утверждает их до того, как они попадут в Google Ads или Microsoft Advertising.
Для измерения мы отслеживаем соответствие человеческим меткам с течением времени, размер очереди на проверку, стоимость обработки тысячи элементов и сэкономленные часы. Ежемесячные отчеты отмечают любой дрейф, например, когда новая линейка продуктов создает поисковые запросы, которые модель классифицирует неправильно.
Каковы ограничения и риски?
Малые модели совершают ошибки, отличные от больших, и делают их чаще в пограничных случаях.
- Они менее надежно следуют инструкциям по формату; проверяйте выходные данные на соответствие разрешенным меткам в коде.
- Знания более скудные, поэтому они могут не распознать нишевые бренды или названия продуктов без примеров.
- Производительность на турецком и других неанглийских языках варьируется в зависимости от модели; тестируйте на реальных локальных данных.
- Лицензии различаются между моделями с открытыми весами, и некоторые ограничивают коммерческое использование; проверяйте перед развертыванием.
- Локальная установка по-прежнему нуждается в исправлениях безопасности и контроле доступа, как и любой сервер.
Как вы решаете между дообучением (fine-tuning) и промптингом?
Начните с промптинга и нескольких примеров в промпте. Это дешево изменить и часто достаточно хорошо. Дообучение малой модели на нескольких тысячах размеченных примеров может повысить точность в узкой задаче, но это добавляет работу по обучению и версию модели для поддержки. Мы рассматриваем это только тогда, когда промптинг стагнирует ниже требуемого уровня согласия, а объем задачи оправдывает усилия.
Сколько стоит запуск малой модели?
Расходы зависят от пути. Через API уровни малых моделей оцениваются за токен и обычно составляют долю от большого уровня; проверяйте текущие страницы цен, так как они часто меняются. При локальном запуске современный ноутбук с достаточным объемом памяти может обрабатывать модели с несколькими миллиардами параметров для тестирования, в то время как производственные объемы обычно оправдывают выделенный сервер или облачный GPU-инстанс. Скрытая стоимость — это люди: настройка, мониторинг и периодическое повторное тестирование против размеченного образца.
Простой чек-лист перед началом
- Определите задачу как закрытый набор выходных данных, а не как открытый вопрос.
- Соберите и разметьте не менее 200–300 реальных примеров.
- Решите, какие данные могут покидать ваши системы, а какие нет.
- Протестируйте хотя бы одну малую и одну большую модель на одном и том же образце.
- Установите порог уверенности и путь проверки человеком для элементов ниже него.
- Логируйте входные и выходные данные, чтобы ошибки можно было отследить.
С чего начать на этой неделе
Экспортируйте отчет о поисковых запросах за прошлый месяц из аккаунта Google Ads. Возьмите 300 случайных строк и разметьте каждую самостоятельно тремя или четырьмя группами намерений, плюс “нерелевантно”. Затем прогоните те же строки через малую модель с коротким промптом, перечисляющим эти группы, и посчитайте, где она согласна с вами. Этот один день говорит вам, реалистична ли автоматизация еженедельной проверки поисковых запросов.
Продолжайте читать: ИИ-оптимизация · ИИ-оптимизация