Fine-tuning — это процесс дополнительного обучения существующей модели AI на ваших собственных примерах, чтобы она выучила определенный стиль, формат или задачу. LoRA (low-rank adaptation) — это более дешевый способ сделать это: он обучает небольшой дополнительный слой вместо изменения всей модели. Маркетологам стоит рассматривать оба варианта только после того, как были опробованы хорошие промпты и методы поиска, но их оказалось недостаточно.
Что меняет fine-tuning в модели?
Базовая модель уже знает язык, грамматику и множество общих фактов. Fine-tuning показывает ей сотни или тысячи пар входных и выходных данных, например, спецификацию продукта и описание, которое написала ваша команда, чтобы модель научилась создавать такой вывод по умолчанию.
Это хорошо подходит для обучения поведению: тону, структуре, длине, меткам и форматированию. Это плохо подходит для обучения фактам, которые меняются. Если вы сделаете fine-tuning на ценах этого сезона, модель будет повторять их еще долго после того, как они станут неверными.
OpenAI предлагает fine-tuning для нескольких своих моделей через API, Google предлагает настройку в Vertex AI, а Amazon Bedrock поддерживает кастомизацию для выбранных моделей. Модели с открытыми весами, такие как Llama, Mistral и Qwen, можно дообучать на вашем собственном оборудовании или через такие сервисы, как Hugging Face.
Чем LoRA отличается от полного fine-tuning?
Полный fine-tuning обновляет все параметры модели, что требует много памяти GPU и создает полную копию модели для каждой версии. LoRA замораживает исходные веса и обучает небольшие матрицы, которые располагаются рядом с ними. Результатом является файл адаптера, который часто составляет лишь малую часть размера модели.
У этого есть практические преимущества. Вы можете сохранить одну базовую модель и менять адаптеры в зависимости от бренда или задачи. Обучение быстрее и дешевле. QLoRA, связанный метод, обучается на сжатой версии модели и делает настройку возможной на одном мощном GPU.
LoRA также широко используется для моделей изображений. Дизайнеры обучают адаптеры LoRA на Stable Diffusion или Flux, чтобы последовательно воспроизводить продукт, персонажа или стиль иллюстрации, что сложно сделать с помощью одних только промптов.
Когда маркетологам следует использовать промптинг, RAG или fine-tuning?
Большинство проблем решаются самым дешевым вариантом. Переходите к следующему пункту списка только тогда, когда предыдущий шаг был должным образом протестирован и не дал результата.
- Промптинг с примерами: исправляет тон и формат для большинства задач, ничего не стоит изменить.
- Retrieval-augmented generation (RAG): предоставляет модели ваши текущие документы в момент ответа, лучше всего подходит для фактов, которые меняются.
- Fine-tuning или LoRA: обучает последовательному поведению при очень больших объемах или стилю, который примеры в промпте не могут уловить.
- Обучение модели с нуля: почти никогда не имеет смысла для маркетинговой команды.
Полезный проверочный вопрос: проблема заключается в том, чтобы что-то знать или что-то делать? Знание указывает на RAG. Делать, тысячи раз одинаковым образом, может указывать на fine-tuning.
Какие маркетинговые задачи являются хорошими кандидатами?
Хорошие кандидаты — это узкие, повторяющиеся и хорошо документированные задачи с четким правильным ответом или стабильным фирменным стилем. Вам также нужны чистые примеры; модель скопирует каждую ошибку в обучающем наборе.
- Классификация тикетов поддержки или поисковых запросов в ваш собственный список категорий.
- Написание описаний продуктов в фиксированном формате для большого каталога.
- Создание вариантов рекламных текстов, которые следуют строгим правилам бренда и юридическим нормам.
- Генерация брендовых изображений продукта или талисмана с помощью LoRA для изображений.
- Извлечение структурированных данных из документов поставщиков.
Что нужно для проекта fine-tuning?
Данные
Соберите от нескольких сотен до нескольких тысяч высококачественных примеров, в зависимости от задачи. Удалите личные данные, устаревшие утверждения и все, что вы не хотите повторять. Отделите тестовый набор, который модель никогда не видит во время обучения.
Оценка
Решите, как вы будете оценивать успех перед обучением. Для классификации используйте точность на тестовом наборе. Для написания используйте слепую проверку, где редакторы сравнивают настроенный вывод с выводом по промпту, не зная, где какой.
Обслуживание
Когда базовая модель получает новую версию, ваш адаптер может потребовать переобучения. Заложите бюджет на это и храните обучающие данные и настройки в системе контроля версий.
Каковы риски?
Настроенные модели могут стать более узкими. Модель, сильно настроенная на описания продуктов, может стать хуже справляться с общими инструкциями. Настройка также может ослабить некоторые аспекты безопасности, поэтому хостинговые провайдеры проводят проверки обучающих данных.
Лицензирование важно для моделей с открытыми весами и для LoRA изображений, обученных на фотографиях или иллюстрациях. Обучайте только на материалах, которыми вы владеете или на которые у вас есть права использования, и записывайте, откуда взялся каждый файл обучения.
Как Alien Road применяет fine-tuning и LoRA
Наша команда по оптимизации AI рассматривает fine-tuning как более поздний шаг. Исследование начинается с тестирования задачи с помощью сильных промптов и, там, где важны факты, настройки поиска. Только если они не обеспечивают качество или стоимость при больших объемах, мы предлагаем настройку.
Когда мы это делаем, мы создаем обучающий набор вместе с редакторами клиента, удаляем личный и устаревший контент и оставляем тестовый набор. LoRA изображений обучаются только на фотографиях продуктов, принадлежащих клиенту.
Отчеты сравнивают настроенную модель с базовой линией по промпту по точности, времени редактирования и стоимости за тысячу выводов. Если выигрыш невелик, мы рекомендуем остаться с промптами, так как их легче поддерживать.
Сколько это стоит?
Хостинговый fine-tuning обычно взимает плату за токен обучения плюс более высокую ставку за токен при использовании настроенной модели. LoRA на открытых весах стоит часов GPU, что может быть скромным для небольших моделей. Большие затраты — это люди: подготовка данных, оценка результатов и переобучение при изменениях. Рассчитайте эти часы перед сравнением с промптингом.
Сделайте решение простым для заинтересованных сторон. Покажите базовую линию, настроенный результат и ежегодные расходы на обслуживание на одном слайде. Если настроенная модель явно выигрывает в задаче, которую бизнес повторяет каждый день, аргумент говорит сам за себя; если разница требует долгого объяснения, вероятно, она не стоит затрат на обслуживание.
С чего начать на этой неделе
Выберите одну повторяющуюся задачу, где качество вывода нестабильно. Напишите лучший промпт, который можете, с тремя примерами и запустите его на пятидесяти реальных входных данных. Оцените результаты. Если более чем несколько требуют серьезного редактирования, собирайте отредактированные версии по мере их поступления; это станет ядром будущего обучающего набора, и вы будете точно знать, что должна превзойти настроенная модель.
Читать далее: ИИ-оптимизация · ИИ-оптимизация