Дообучение адаптирует предварительно обученную AI-модель к более узкой задаче путем дополнительного обучения на ваших собственных примерах, а LoRA (адаптация низкого ранга) — это популярный метод, который делает это дешево, обучая небольшие дополнительные матрицы весов вместо всей модели. Самые распространенные ошибки — это дообучение, когда достаточно было бы лучшего промпта, обучение на «грязных» данных и пропуск этапа оценки.
Что такое дообучение и LoRA вкратце?
Базовая модель, такая как Llama, Mistral или Qwen, обладает общими знаниями и общими навыками. Дообучение показывает ей сотни или тысячи пар «вход-выход», чтобы она выучила определенный стиль, формат или задачу. Полное дообучение обновляет каждый параметр, что требует серьезных ресурсов GPU и времени.
LoRA, описанная в исследовательской работе Microsoft 2021 года, замораживает исходные веса и обучает небольшие матрицы низкого ранга вместе с ними. Результатом является файл адаптера, который часто составляет крошечную часть размера модели. Вы можете сохранить одну базовую модель и менять адаптеры для разных клиентов или задач. QLoRA идет дальше, загружая базовую модель в 4-битной точности, что позволяет настраивать довольно большие модели на одном потребительском или рабочем GPU.
Существуют и хостинговые варианты. OpenAI, Google и другие провайдеры позволяют загружать обучающие данные и дообучать выбранные модели через свои платформы, не управляя оборудованием самостоятельно.
Ошибка 1: дообучение до попытки использования промптов и поиска (retrieval)
Многие команды прибегают к дообучению, потому что это звучит как серьезный вариант. На практике большая часть маркетинговых потребностей удовлетворяется четкими промптами с хорошими примерами или с помощью генерации с дополненным поиском (RAG), где модель читает соответствующие документы в момент ответа.
Полезное правило: дообучение учит форме, поиск предоставляет факты. Если вы хотите, чтобы модель знала цены на продукты в этом месяце, дообучение — это неправильный инструмент, потому что знания замораживаются во время обучения и устаревают. Если вы хотите, чтобы она всегда писала описания продуктов в определенной структуре и голосе, дообучение может помочь.
Ошибка 2: обучение на данных, которые никто не очистил
Дообученная модель копирует любые паттерны, которые есть в ее обучающем наборе, включая плохие. Типичные проблемы в маркетинговых наборах данных:
- Старые тексты, упоминающие снятые с производства продукты или истекшие предложения.
- Непоследовательное форматирование, из-за чего модель не учит никакой четкой структуре.
- Дубликаты, которые перевешивают несколько примеров.
- Тексты, написанные многими авторами с разными стандартами.
- Личные данные, такие как имена клиентов в транскриптах поддержки, которые никогда не должны быть встроены в веса.
Маленькие, курируемые наборы данных обычно лучше больших и шумных. Несколько сотен тщательно отобранных примеров, которые представляют именно то, что вы хотите, могут превзойти тысячи, собранные из архива.
Чек-лист проверки данных
- Удалите все, что вы бы не опубликовали сегодня.
- Стандартизируйте формат ввода, чтобы каждый пример выглядел одинаково.
- Удалите или замените личную информацию.
- Отложите отдельный тестовый набор, который модель никогда не видит во время обучения.
- Пусть человек прочитает случайную выборку перед началом обучения.
Ошибка 3: нет оценки, только впечатления
Классический провал — это обучение модели, попытка использовать пять промптов, одобрение ответов и объявление об успехе. Это говорит вам очень мало. Вам нужен фиксированный тестовый набор и способ оценки результатов, будь то человеческая оценка, проверки на основе правил (длина, запрещенные слова, обязательные поля) или сравнение с базовой моделью с хорошим промптом.
Переобучение (overfitting) — это специфическая опасность. Модель, обученная слишком долго на маленьком наборе, может воспроизводить обучающие примеры почти слово в слово или потерять общие способности, которые у нее были раньше. Наблюдение за потерей валидации во время обучения и тестирование на невидимых входных данных выявляет это.
Ошибка 4: неправильные настройки для LoRA
У LoRA есть несколько гиперпараметров, которые имеют значение: ранг (часто пишется r), коэффициент масштабирования альфа, какие слои получают адаптеры, скорость обучения и количество эпох. Копирование настроек из случайного руководства, созданного для другого размера модели или задачи, приводит к слабым или нестабильным результатам.
Библиотеки, такие как Hugging Face PEFT, и инструменты, такие как Axolotl или Unsloth, поставляются с разумными настройками по умолчанию, и эти настройки — разумная отправная точка. Меняйте по одной настройке за раз и записывайте результат, иначе вы не сможете сказать, что помогло.
Ошибка 5: игнорирование лицензирования и развертывания
Модели с открытыми весами поставляются с разными лицензиями. Некоторые разрешают широкое коммерческое использование, другие содержат ограничения или правила атрибуции. Проверьте лицензию точной версии базовой модели, прежде чем строить на ней клиентский продукт.
Развертывание часто является второстепенной задачей. Дообученному адаптеру нужно место для работы с предсказуемой стоимостью и задержкой. Инструменты обслуживания, такие как vLLM, поддерживают загрузку адаптеров LoRA, и несколько облачных провайдеров хостят пользовательские модели, но кто-то должен отвечать за мониторинг, обновления и откаты.
Как Alien Road применяет дообучение и LoRA
В типичном проекте работа начинается с вопроса, нужно ли вообще дообучение. Мы сначала строим лучшую версию задачи с промптом и поиском и измеряем ее. Только когда этот базовый уровень все еще не справляется с последовательностью стиля или формата, мы рассматриваем обучение.
Если обучение продолжается, настройка фокусируется на наборе данных. Мы работаем с клиентом, чтобы выбрать одобренные примеры, очистить их, удалить личные данные и отделить тестовый набор. Затем следует небольшой запуск LoRA на модели с открытыми весами или хостинговое дообучение с записью настроек и версий данных.
Измерение сравнивает три версии на одном и том же тестовом наборе: базовая модель с простым промптом, базовая модель с лучшим промптом и дообученная модель. Рецензенты оценивают результаты вслепую, не зная, какая версия что написала. Отчет клиенту показывает эти оценки, стоимость запуска каждого варианта и рекомендацию, которая иногда заключается в том, чтобы остаться на промптинге.
Когда дообучение явно того стоит?
Оно оправдано, когда задача узкая, повторяется в больших объемах и оценивается по последовательности. Примеры включают классификацию входящих лидов по фиксированным категориям, переписывание данных о продуктах в строгий шаблон или создание коротких рекламных строк в очень специфическом голосе бренда. В таких случаях небольшая дообученная модель также может быть дешевле и быстрее в работе, чем большая общая.
Это редко стоит того для широкой творческой работы, быстро меняющихся фактов или задач, которые вы выполняете несколько раз в месяц.
С чего начать на этой неделе
Запишите единственную задачу, которая, по вашему мнению, нуждается в дообучении. Создайте самый сильный промпт, который можете, с тремя хорошими примерами, и запустите его на 30 реальных входных данных. Оцените результаты честно.
Если более чем несколько результатов не проходят по формату или голосу, начните собирать чистый набор данных из одобренных примеров. Стремитесь к качеству, а не к размеру, отложите тестовый набор и только потом планируйте небольшой эксперимент с LoRA.
Продолжайте читать: ИИ-оптимизация · ИИ-оптимизация