Дообучение адаптирует предварительно обученную языковую или визуальную модель к конкретной задаче путем дополнительного обучения на ваших собственных примерах. LoRA (Low-Rank Adaptation) — это метод, который обучает небольшие веса адаптера вместо всей модели, что снижает затраты на вычисления и объем памяти. Контрольный список внедрения охватывает вопросы о том, когда проводить дообучение, как подготовить данные, как оценивать результаты и как безопасно развертывать модель.
Метод LoRA был представлен исследователями Microsoft в 2021 году и стал стандартом для адаптации моделей с открытыми весами, таких как Llama, Mistral и Qwen, а также моделей изображений, таких как Stable Diffusion. Хостинговые провайдеры, включая OpenAI и Google, предлагают собственное управляемое дообучение для некоторых моделей, часто используя аналогичные методы эффективности параметров в фоновом режиме.
Стоит ли вообще проводить дообучение?
Часто нет. Многие маркетинговые задачи лучше решаются с помощью хороших промптов, примеров в промпте или генерации с дополненным поиском (RAG), которая подает модели ваши документы во время ответа. Дообучение оправдано, когда одна и та же узкая задача повторяется в больших объемах, а промпты сами по себе дают непоследовательные результаты.
Веские причины для дообучения
- Фиксированный формат вывода, который модель постоянно нарушает, например, структурированные атрибуты продукта
- Голос бренда, который промпты не могут поддерживать на протяжении тысяч генераций
- Задачи классификации, такие как сортировка тикетов поддержки или отзывов по категориям
- Снижение затрат за счет переноса задачи с большой модели на меньшую, дообученную
- Единый визуальный стиль для генерации изображений с использованием LoRA для изображений
Плохие причины
- Обучение модели фактам, которые часто меняются, например, ценам или уровню запасов
- Исправление задачи, которую вы еще четко не определили
- Наличие менее нескольких сотен хороших примеров
Шаг 1: определите задачу и критерии успеха
Запишите входные данные, ожидаемый результат и то, что означает «хорошо» в измеримых терминах. Расплывчатые цели, такие как «лучший текст», нельзя протестировать, а задачу, которую нельзя протестировать, нельзя дообучить. Для задачи описания продукта «хорошо» может означать правильные атрибуты, установленный диапазон длины, отсутствие запрещенных утверждений и оценку стиля рецензентом.
Затем создайте оценочный набор перед любым обучением. Возьмите от 100 до 300 реальных входных данных, напишите или утвердите идеальные результаты и отложите их в сторону. Этот набор никогда не используется в обучении. Каждая версия модели будет оцениваться по нему.
Шаг 2: подготовьте данные для обучения
Качество важнее количества. Несколько сотен тщательно проверенных примеров часто превосходят тысячи зашумленных для узких задач. Удалите дубликаты, исправьте ошибки форматирования и убедитесь, что примеры охватывают граничные случаи, такие как очень короткие входные данные или пропущенные поля.
Проверьте права на данные и конфиденциальность. Электронные письма клиентов, чаты поддержки и отзывы могут содержать персональные данные. Удалите имена, адреса электронной почты и номера телефонов, а также подтвердите, что у вас есть законное основание для использования данных для обучения в соответствии с GDPR или KVKK, в зависимости от того, где находятся ваши клиенты.
Шаг 3: как выбрать базовую модель и настройки?
Выберите самую маленькую модель, которая может хорошо справиться с задачей, так как маленькие модели дешевле в эксплуатации. Сначала протестируйте недообученную базовую модель на вашем оценочном наборе; разрыв между этим результатом и вашей целью покажет, насколько эффективно дообучение.
Для LoRA основными настройками являются ранг (часто от 8 до 64), скорость обучения, количество эпох и слои, которые получают адаптеры. Библиотеки, такие как Hugging Face PEFT, Axolotl и Unsloth, берут на себя механику. QLoRA, вариант, который загружает базовую модель с 4-битной точностью, позволяет дообучать модели среднего размера на одном GPU.
Шаг 4: оценивайте честно
Оценивайте каждую обученную версию на отложенном оценочном наборе. По возможности используйте автоматические проверки, такие как проверка формата, обязательных полей и длины, а также проверку человеком тона и точности на выборке.
Следите за переобучением: потери при обучении падают, в то время как оценки при оценке стагнируют или падают. Если это происходит, уменьшите количество эпох, снизьте скорость обучения или добавьте более разнообразные примеры, прежде чем пробовать больший ранг. Также проверяйте общее поведение. Модель, слишком сильно обученная на одной задаче, может хуже следовать базовым инструкциям или начать повторять фразы из обучения слово в слово.
Шаг 5: спланируйте развертывание в продакшене
Выбор развертывания зависит от модели. Хостинговые дообученные модели работают на эндпоинте провайдера. Модели с открытыми весами и адаптерами LoRA могут работать на серверах вывода, таких как vLLM или Text Generation Inference, а некоторые конфигурации загружают несколько адаптеров на одну базовую модель, что снижает затраты, когда у вас есть адаптеры для разных клиентов или задач.
Контрольный список для продакшена
- Версионируйте каждый адаптер и записывайте данные его обучения и оценочный балл
- Держите предыдущую версию готовой для быстрого отката
- Логируйте входные и выходные данные (с удалением персональных данных) для последующего анализа
- Сначала направьте часть трафика на новую версию и сравните
- Установите цикл проверки, например ежемесячный, для дообучения на новых утвержденных примерах
Контроль затрат
Затраты на обучение обычно невелики по сравнению с выводом в масштабе. Оцените ежемесячные запросы, среднее количество токенов на запрос и цену за токен или час работы GPU, затем сравните дообученную маленькую модель с недообученной большой моделью. Дообученный вариант часто выигрывает по эксплуатационным расходам, даже если большая модель показывает чуть лучшие результаты. Учитывайте и скрытые расходы: часы, потраченные на подготовку данных, проверку результатов и дообучение при изменении задачи. Пилотный проект, который игнорирует время сотрудников, на бумаге будет выглядеть дешевле, чем есть на самом деле.
Как Alien Road применяет дообучение и LoRA
В типичном проекте работа начинается с проверки того, решают ли проблему промптинг или поиск. Многие запросы заканчиваются на этом этапе, что избавляет клиента от проекта по обучению. Когда объем и требования к согласованности оправдывают это, мы определяем задачу, создаем оценочный набор вместе с командой клиента и проверяем данные на наличие персональной информации и прав.
Настройка включает выбор базовой модели, запуски обучения LoRA и сравнение результатов с базовой моделью. Измерения продолжаются после запуска с помощью логируемых выборок, проверяемых по тем же критериям, а отчетность показывает показатели качества, стоимость тысячи генераций и любые отклонения. Каждая версия адаптера документируется, чтобы клиент мог провести аудит или выполнить откат.
С чего начать на этой неделе
Выберите одну повторяющуюся задачу и запишите двадцать реальных входных данных с идеальными результатами. Прогоните их через вашу текущую модель с вашим лучшим промптом и оцените результаты.
Если после улучшения промптов менее восьми из десяти соответствуют стандарту, соберите еще несколько сотен примеров. Это тот момент, когда пилотный проект LoRA начинает иметь смысл.
Читать далее: ИИ-оптимизация · ИИ-оптимизация