Малые языковые модели — это компактные модели ИИ, обычно с несколькими миллиардами параметров или меньше, которые могут работать на ноутбуке, телефоне или скромном сервере. Их основные риски для маркетинговой команды — более низкая точность при выполнении сложных задач, уверенные ошибки в фактах и языках, с которыми они плохо справляются, а также неконтролируемые копии, распространяющиеся по устройствам. Управление должно ограничивать их узкими, проверяемыми задачами, требовать оценки перед использованием и отслеживать, где работает каждая модель.
Примеры включают семейство Phi от Microsoft, Gemma от Google, меньшие варианты Llama от Meta, малые модели Mistral, малые версии Qwen от Alibaba и модели, работающие внутри телефонов, такие как Gemini Nano и базовая модель Apple на устройстве. Такие инструменты, как Ollama, LM Studio и llama.cpp, упрощают их загрузку и запуск на персональном компьютере.
Их привлекательность очевидна: низкая стоимость выполнения задачи, быстрые ответы, возможность хранить данные полностью внутри компании и возможность дешево настроить их для конкретной работы. Эти преимущества реальны. Ограничения тоже.
В чем сильны малые модели?
Малые модели хорошо справляются с узкими и четко определенными задачами. Классификация сообщений поддержки по категориям, извлечение полей из форм, тегирование отзывов о продуктах по темам, переписывание коротких текстов в фиксированном стиле и простые решения по маршрутизации — все это хорошие примеры.
Они также хорошо работают при донастройке. Малая модель, обученная на нескольких тысячах примеров конкретной задачи, может сравниться с большой общей моделью или превзойти ее в этой задаче, при этом стоимость ее работы будет составлять лишь малую часть.
Каковы их ограничения?
Рассуждение и длинный контекст
Малые модели с трудом справляются с многоэтапными рассуждениями, длинными документами и задачами, требующими удержания в памяти множества фактов одновременно. Просьба проанализировать отчет о кампании и порекомендовать изменения бюджета обычно приводит к поверхностным или неверным советам.
Знания и факты
Имея меньше параметров, они хранят меньше знаний о мире. Они более склонны выдумывать факты, имена и цифры, особенно по нишевым темам, и делать это бегло.
Языки
Многие малые модели обучены в основном на английском языке. Качество на турецком, азербайджанском или других языках может быть заметно ниже, с грамматическими ошибками или буквальным переводом. Тестируйте каждый язык отдельно.
Настройка безопасности
Малые модели могут иметь более слабую настройку безопасности и отказов, чем крупные коммерческие модели. Они могут легче создавать неуместный контент, если их плохо промптить или если их использует злоумышленник.
Какие риски требуют управления?
Теневые развертывания
Поскольку любой может скачать модель и запустить ее на ноутбуке, команды могут начать использовать их без ведома ИТ-отдела. Данные клиентов, вставленные в локальную модель, могут оставаться конфиденциальными, но результаты могут использоваться без проверки, и никто не знает, какая версия модели что произвела.
Условия лицензии
Малые модели поставляются по разным лицензиям. Некоторые из них разрешительные, как Apache 2.0, другие имеют пользовательские условия с ограничениями на использование. Использование модели в коммерческих целях без проверки ее лицензии — это юридический риск.
Непроверенные результаты
Малая модель, которая классифицирует лиды или тикеты поддержки, может молча направлять часть из них не туда. Без набора для оценки и мониторинга ошибки проявляются только в виде жалоб.
Цепочка поставок моделей
Модели, загруженные из публичных хабов, могут быть измененными версиями. Используйте официальные источники и проверяйте издателей. Файлы моделей в некоторых старых форматах могут даже содержать исполняемый код, поэтому предпочтительны более безопасные форматы, такие как safetensors.
Какие правила управления должны быть первыми?
- Утвержденный список: укажите модели, разрешенные для бизнес-использования, их официальный источник и лицензию.
- Утверждение вариантов использования: каждый новый вариант использования описывается в одном абзаце и утверждается владельцем.
- Оценка перед использованием: протестируйте каждую модель как минимум на пятидесяти реальных примерах для каждой задачи и языка с порогом приемлемости.
- Никаких непроверенных результатов, ориентированных на клиента: все, что видит клиент, проверяется или ограничивается безопасными шаблонами.
- Правила работы с данными: какие данные могут обрабатываться, где работает модель и как ведутся журналы.
- Отслеживание версий: записывайте название модели и версию, используемую для каждого рабочего процесса.
- Повторное тестирование при изменениях: при обновлении или замене модели повторно запустите набор для оценки.
Когда вместо этого следует выбрать большую модель?
Выбирайте большую модель, когда задача включает рассуждения, длинные документы, открытое письмо, которое будут читать клиенты, или множество языков высокого качества. Распространенный дизайн использует оба варианта: малую модель для быстрой классификации и маршрутизации и большую модель для случаев, которые малая модель помечает как неопределенные.
Стоимость сама по себе — слабая причина для выбора малой модели, если ошибки создают необходимость переделки. Сравнивайте общую стоимость, включая проверку и исправление, а не только цену токена.
Как Alien Road применяет малые языковые модели
В типичном проекте малые модели появляются в задачах по работе с данными и операциями, а не при написании контента. На этапе обнаружения выявляются узкие задачи с большим объемом, такие как тегирование отзывов, сортировка входящих сообщений или извлечение полей из форм лидов, и проверяются задействованные языки.
Настройка использует утвержденную модель из официального источника, запущенную либо через управляемый хост, либо на инфраструктуре клиента с помощью Ollama или vLLM. Мы создаем набор для оценки на основе собственных данных клиента, сравниваем малую модель с большей и записываем результаты. Если малая модель достигает согласованной точности, она переходит в рабочий процесс с возможностью переключения на большую модель или человека для неопределенных случаев.
Измерение отслеживает точность на еженедельной выборке, частоту переключений и стоимость выполнения задачи. Отчеты показывают это с течением времени и отмечают любые отклонения, такие как падение точности после изменения входящих данных.
Как контролировать малую модель после запуска?
Оценки перед запуском недостаточно, потому что входящие данные меняются. Новая линейка продуктов, кампания на новом языке или сезонное изменение вопросов клиентов могут вывести малую модель за пределы того, с чем она хорошо справляется. Каждую неделю берите выборку результатов и поручайте человеку оценить их по тем же стандартам, что использовались при первоначальной оценке.
Следите также за частотой переключений. Если больше случаев передается большой модели или человеку, значит, малая модель испытывает трудности, даже если оцененная выборка выглядит нормально.
С чего начать на этой неделе
Перечислите все места, где ваша команда в настоящее время использует ИИ, и отметьте, какие модели стоят за этим, включая все, что работает локально на ноутбуках. Вы можете обнаружить малые модели, которые уже используются без одобрения.
Затем выберите одну узкую задачу с большим объемом и создайте тестовый набор из пятидесяти примеров на основе реальных данных. Запустите на нем малую и большую модели и сравните точность и стоимость. Это единственное сравнение скажет вам, подходит ли малая модель для вашего рабочего процесса.
Продолжайте читать: ИИ-оптимизация · ИИ-оптимизация