Малые языковые модели для B2B маркетинга

Четкой границы нет, но этот термин обычно относится к моделям, которые значительно меньше крупнейших передовых систем. К известным семействам относятся Gemma от Google, Phi от Microsoft, малые модели Mistral и компактные версии Llama от Meta. Многие из них выпускаются с открытыми весами, поэтому компания может загрузить и запустить их на собственном оборудовании.

Их размер — это компромисс. Малая модель дешевле и быстрее, и она может оставаться внутри вашей сети. Она также меньше знает, менее надежно рассуждает при решении сложных задач и чаще ошибается в открытых вопросах. Это руководство посвящено тому, как подобрать этот профиль к правильным задачам.

Большие хостинговые модели — отличные инструменты общего назначения. Малые модели выигрывают в более узких ситуациях, а в B2B-маркетинге их много.

• Конфиденциальность: записи CRM, транскрипты звонков и заметки о ценах могут обрабатываться, не покидая вашей среды.
• Стоимость при больших объемах: тегирование десятков тысяч записей стоит гораздо дешевле на модели, которую вы хостите сами, чем через API с оплатой за токен.
• Скорость: короткие задачи выполняются быстро, что подходит для инструментов, работающих внутри CRM или на веб-сайте.
• Контроль: вы выбираете версию, и она не меняется без вашего ведома, поэтому результаты остаются стабильными.
• Тонкая настройка: малая модель может быть обучена на ваших собственных размеченных примерах, чтобы точно следовать вашим категориям.

Лучшие задачи имеют четкий вход, четкий выход и способ проверки ответа. Классификация и извлечение данных подходят лучше всего. Длинные статьи в стиле идейного лидерства подходят хуже всего.

Хорошие варианты

• Классификация лидов и аккаунтов: отрасль, размер компании, этап покупки на основе полей форм и заметок.
• Тегирование контента: назначение тем, персон и этапов воронки для блога или библиотеки ресурсов.
• Резюме звонков и встреч: извлечение возражений, упоминаемых конкурентов и следующих шагов из транскриптов.
• Варианты коротких текстов: темы писем, заголовки объявлений и мета-описания в рамках строгого шаблона.
• Поиск и маршрутизация: сопоставление входящих вопросов с нужной статьей справки или ответственным менеджером по продажам.

Плохие варианты

• Стратегические документы и оригинальные исследовательские статьи.
• Задачи, требующие актуальных фактов из интернета.
• Сложный многоэтапный анализ большого количества документов.

Начинайте с задачи, а не с таблицы лидеров. Запишите входные данные, ожидаемый выход и язык. Затем составьте шорт-лист из двух-трех моделей с лицензиями, разрешающими коммерческое использование, и проверьте, поддерживают ли они языки, необходимые вашим рынкам.

Протестируйте их на своих данных. Создайте набор из 100–200 реальных примеров с правильными ответами, размеченными кем-то из команды. Запустите каждую модель и сравните точность, скорость и требования к оборудованию. Модель, которая чуть менее точна, но работает на оборудовании, которое у вас уже есть, может быть лучшим бизнес-решением.

Первый проект должен быть достаточно маленьким, чтобы завершиться за несколько недель, и достаточно полезным, чтобы люди это заметили. Классификация лидов — распространенный выбор, потому что отделы продаж сразу чувствуют выгоду.

• Неделя 1: определите категории с отделом продаж, экспортируйте примеры записей, разметьте тестовый набор.
• Неделя 2: запустите две или три модели-кандидата через локальный инструмент, такой как Ollama, или хостинговую конечную точку в вашем облачном аккаунте.
• Неделя 3: выберите модель, уточните промпт и подключите ее к CRM через скрипт или инструмент автоматизации.
• Неделя 4: запустите ее в теневом режиме, где модель предлагает метку, а человек ее подтверждает, и отслеживайте совпадения.

Если совпадение высокое, переходите к автоматической разметке для ясных случаев и сохраняйте проверку человеком для случаев с низкой уверенностью. Если низкое, попробуйте тонкую настройку на размеченном наборе или перенесите задачу на более крупную модель.

Сохраните тестовый набор после завершения пилота. Он станет вашим эталоном: всякий раз, когда выходит новая малая модель или меняются ваши категории, вы можете повторно запустить те же примеры и за час увидеть, стоит ли переходить на новую. Без фиксированного эталона выбор модели смещается в сторону того, что новее, а не того, что лучше работает на ваших данных.

Малые модели могут звучать уверенно, будучи неправыми. Каждое использование в продакшене требует проверки: оценки уверенности, выборочной проверки или правила, которое отправляет сомнительные случаи человеку. Лицензии различаются между семействами моделей, поэтому стоит уделить время юридической проверке. Кто-то также должен владеть моделью, обновлять ее и следить за дрейфом, когда меняются ваши категории или продукты.