Большинству малых предприятий следует начинать с хороших промптов и, при необходимости, поиска по собственным документам, а не с fine-tuning. Fine-tuning и LoRA становятся оправданными, когда у вас есть сотни высококачественных примеров повторяющейся задачи, а один лишь промпт не может стабильно обеспечить правильный стиль или формат, например, при классификации запросов или написании описаний товаров в фиксированном корпоративном стиле.
Fine-tuning означает продолжение обучения существующей языковой или графической модели на ваших собственных примерах, чтобы она выучила закономерность. Полный fine-tuning обновляет все веса модели, что дорого. LoRA (low-rank adaptation) — это метод, представленный исследователями Microsoft, который обучает небольшой набор дополнительных параметров поверх замороженной модели. Результатом является легкий файл адаптера, который меняет поведение модели за долю стоимости. LoRA широко используется с открытыми моделями, такими как Llama, Mistral и Stable Diffusion, а хостинговые сервисы fine-tuning от OpenAI, Google и других предлагают аналогичные результаты без необходимости управления оборудованием.
Какую проблему на самом деле решает fine-tuning?
Fine-tuning обучает форме, а не фактам. Он хорош для того, чтобы заставить модель следовать формату, принять тон или классифицировать входные данные так, как это делает ваша команда. Это плохой способ обучения меняющейся информации, такой как цены, уровни запасов или часы работы, потому что они меняются быстрее, чем вы можете переобучить модель.
Для фактов обычно лучше подходит retrieval-augmented generation: модель ищет актуальные документы в момент вопроса. Многим компаниям, которые думают, что им нужен fine-tuning, на самом деле нужны хорошо организованный FAQ и система поиска.
Вам нужен fine-tuning или лучший промпт?
Задайте три вопроса, прежде чем тратить деньги:
- Пробовали ли вы подробный промпт с пятью или более хорошими примерами? Few-shot промптинг решает многие проблемы со стилем.
- Задача повторяется хотя бы сотни раз в месяц? Если нет, то редактировать результаты вручную дешевле.
- Есть ли у вас хотя бы несколько сотен чистых пар входных и выходных данных, которые вы хотели бы, чтобы модель копировала?
Если ответы: нет, да и нет, то честный следующий шаг — собирать примеры, а не обучать.
Какие задачи малого бизнеса подходят для fine-tuning?
Хорошие кандидаты имеют четкий вход, четкий выход и последовательный стандарт. Мебельный магазин с 3000 товаров может настроить модель для превращения таблиц поставщиков в описания товаров своим собственным голосом. Клиника может обучить классификатор, который сортирует веб-запросы на запись на прием, вопрос о цене, жалобу или другое, чтобы сотрудники сначала отвечали на правильные.
LoRA для изображений подходят компаниям, которым нужно много визуальных материалов в едином стиле, например, иллюстрированные посты в соцсетях. Их никогда не следует обучать на изображениях, на которые у вас нет прав, а обучение на лице реального человека требует согласия этого человека.
Какие данные вам нужны?
Качество важнее количества. Несколько сотен тщательно проверенных примеров часто лучше тысяч несогласованных, потому что модель копирует ошибки так же верно, как и хорошую работу.
Подготовка обучающего набора
- Собирайте реальные примеры из своей работы: утвержденные описания, правильно помеченные запросы, ответы, которые написали ваши лучшие сотрудники.
- Удаляйте личные данные, такие как имена, номера телефонов и адреса, если у вас нет четких законных оснований.
- Сделайте формат идентичным во всех примерах, обычно это файл JSONL с полями ввода и вывода.
- Отложите 10–20 процентов примеров для тестирования; никогда не обучайте на них.
- Напишите одностраничный стандарт, описывающий, как выглядит хороший результат, чтобы вы могли оценивать результаты.
Сколько это стоит и насколько это сложно?
Есть два основных пути. Хостинговый fine-tuning от провайдера модели означает загрузку файла, оплату за токен обучения, а затем за использование. Это не требует оборудования и почти не требует кода. Самостоятельно размещенный LoRA на открытой модели требует GPU, арендованного в облаке или локального, плюс кого-то, кто знаком с инструментами, такими как библиотека PEFT от Hugging Face.
Цены часто меняются, поэтому проверяйте текущие страницы цен. Для малого бизнеса большие затраты — это обычно время сотрудников на подготовку и проверку данных, а также постоянная работа по переобучению, когда ваш стандарт меняется.
Как узнать, сработало ли это?
Сравните настроенную модель с вашим лучшим промптом на отложенных примерах. Оцените оба по вашему одностраничному стандарту. Если настроенная версия не стала явно лучше, оставьте промпт; его легче изменить завтра.
Для классификаторов измеряйте точность по категориям, а не в целом. Модель, которая права в 90 процентах случаев, но пропускает большинство жалоб, — это проблема.
Каковы риски fine-tuning?
Настроенная модель копирует ваши данные, включая их недостатки. Если ваши прошлые описания товаров содержат устаревшие утверждения или непоследовательное написание, модель будет уверенно их повторять. Чистые примеры не являются необязательными.
Существует также риск обслуживания. Когда базовая модель снимается с производства или обновляется, ваш fine-tuning, возможно, придется переделывать. Храните файл обучения, тестовый набор и оценки в одной папке, чтобы переобучение было рутинной работой, а не новым проектом.
Как Alien Road применяет fine-tuning и LoRA
В типичном проекте первым результатом часто является рекомендация пока не делать fine-tuning. Мы рассматриваем задачу клиента, тестируем структурированный промпт с примерами и движемся дальше, только если разрыв реален.
Когда fine-tuning имеет смысл, мы помогаем создать и очистить обучающий набор на основе собственной утвержденной работы клиента, запускаем хостинговый fine-tuning или LoRA на открытой модели и сравниваем его с базовым промптом на отложенных данных. Клиент получает краткий отчет с оценками, стоимостью за тысячу результатов и планом переобучения, а также сохраняет право собственности на набор данных.
С чего начать на этой неделе
Выберите одну текстовую задачу, которую ваша команда повторяет чаще всего. Напишите для нее одностраничный стандарт, затем создайте общую папку с утвержденными примерами, добавляя каждый хороший пример, который создает ваша команда.
Параллельно создайте промпт с пятью такими примерами и протестируйте его на десяти новых входных данных. Если промпт уже дает вам большую часть пути, вы сэкономили себе проект обучения. Если нет, ваша папка уже становится набором данных.
Назначьте дату проверки через месяц. К тому времени вы будете знать, сокращается ли разрыв между результатом промпта и вашим стандартом сам по себе или обучение — это действительно следующий шаг.
Читайте дальше: ИИ-оптимизация · ИИ-оптимизация