Retrieval-augmented generation (RAG) — это метод, при котором модель ИИ сначала ищет информацию в определенном наборе документов, а затем пишет ответ, используя найденное. В клиентских кампаниях Alien Road использует RAG, чтобы чат-боты, черновики контента и отчеты основывались на собственных утвержденных материалах клиента, а не на общих знаниях модели, что уменьшает количество вымышленных фактов и обеспечивает согласованность утверждений.
В этой статье объясняется, как работает RAG, какие задачи кампании он поддерживает и какой процесс мы проходим от обнаружения до отчетности.
Как работает RAG?
Система RAG состоит из трех частей. Хранилище документов содержит исходный материал, разбитый на фрагменты. Retriever (поисковик) находит фрагменты, наиболее релевантные вопросу, обычно путем сравнения векторных представлений, часто в сочетании с поиском по ключевым словам. Затем языковая модель получает вопрос и эти фрагменты и пишет ответ, в идеале указывая, какие фрагменты она использовала.
Общие знания модели по-прежнему формируют язык, но факты берутся из извлеченного текста. Если поисковик ничего не находит, хорошо построенная система сообщает об этом, вместо того чтобы гадать.
Почему бы просто не вставить документы в чат?
Для одного вопроса вставка документа работает. Для кампании с сотнями спецификаций продуктов, страниц политик, прошлых рекламных объявлений и отчетов об исследованиях — нет. Контекстные окна имеют ограничения, затраты растут с каждым токеном, а ручная вставка означает, что разные члены команды получают разные ответы.
RAG делает набор источников фиксированным и общим. Все и каждый инструмент обращаются к одному и тому же хранилищу, и когда документ меняется, вы обновляете его один раз.
Какие задачи кампании используют RAG?
- Чат-боты на веб-сайтах и в WhatsApp, которые отвечают на основе документов о продуктах и политиках
- Черновики контента, которые должны оставаться точными в соответствии с техническими спецификациями
- Генерация рекламных текстов, ограниченная утвержденными заявлениями и языком соответствия требованиям
- Помощники по продажам, которые находят правильный кейс или ответ для представителя
- Комментарии к отчетам, объясняющие эффективность с использованием заметок о кампании и журналов изменений
Общая черта заключается в том, что результат должен соответствовать тому, что утвердил клиент. RAG менее полезен для творческой работы, где вы хотите, чтобы модель действовала свободно.
Как Alien Road применяет retrieval-augmented generation
Обнаружение
Типичное взаимодействие начинается с аудита источников. Мы перечисляем документы, которые содержат правду о продуктах и заявлениях клиента: спецификации, правила ценообразования, часто задаваемые вопросы, юридические отказы от ответственности, рекомендации по бренду. Мы также отмечаем документы, которые устарели или противоречат друг другу, потому что RAG будет верно повторять все, что есть в хранилище, включая старые цены.
Настройка
Документы очищаются, разбиваются на фрагменты по естественным разделам, таким как заголовки, и помечаются метаданными, такими как продукт, язык, регион и дата. Мы индексируем их в векторной базе данных, обычно это такие варианты, как pgvector, Pinecone или управляемый поисковый сервис, и сочетаем это с поиском по ключевым словам, чтобы точные коды продуктов находились надежно.
Промпт предписывает модели отвечать только на основе извлеченного текста, цитировать исходный документ и указывать, когда информация отсутствует. Для многоязычных клиентов мы индексируем каждую языковую версию, а не полагаемся на перевод в момент ответа.
Оценка
Перед запуском мы создаем тестовый набор реальных вопросов с известными правильными ответами, взятыми из тикетов поддержки, электронных писем по продажам и команды клиента. Каждый ответ проверяется на правильность, точность цитирования и отказ, когда он должен быть. Мы корректируем размеры фрагментов, настройки поиска и промпты до тех пор, пока результаты не станут стабильными.
Измерение и отчетность
После запуска отчетность охватывает точность ответов на проверенной выборке, вопросы без хорошего поиска (признак отсутствия документа) и метрики кампании, которые поддерживает система, такие как лиды из чат-бота или время редактирования черновиков контента. Список вопросов без ответов часто становится следующим планом контента.
Что идет не так с RAG?
- Устаревшие документы: хранилище содержит цены прошлого года, поэтому бот цитирует их
- Плохое разбиение на фрагменты: таблица, разделенная на части, теряет смысл
- Ошибки поиска: формулировка пользователя отличается от формулировки в документе, и чистый векторный поиск не находит ее
- Чрезмерное доверие: команды предполагают, что результат RAG всегда верен, и пропускают проверку
- Пробелы в контроле доступа: внутренние документы попадают в хранилище публичного бота
Каждая из этих проблем — это скорее проблема процесса, чем проблема модели, поэтому этапы аудита и оценки занимают больше времени, чем техническая настройка.
Важен ли RAG для SEO и поиска ИИ?
Продукты поиска ИИ, такие как AI Overviews от Google, Perplexity и поиск ChatGPT, работают по схожему принципу: извлечь веб-страницы, затем сгенерировать ответ. Страницы, которые легко извлечь и процитировать, с четкими заголовками, прямыми ответами и точными фактами, используются чаще. Создание систем RAG для клиентов сформировало то, как мы структурируем их публичный контент, потому что мы видим, какие типы отрывков хорошо извлекаются.
RAG по сравнению с fine-tuning
Fine-tuning изменяет веса модели путем обучения на примерах. Это полезно для обучения стилю, формату или узкой задаче классификации. Это плохой способ обучения фактам, которые меняются, потому что каждое обновление цены потребует переобучения, а модель все равно может смешивать новые факты со старыми.
RAG хранит факты вне модели, в документах, которые можно обновить за считанные минуты. Для работы над кампанией, где продукты, предложения и политики меняются ежемесячно, RAG почти всегда является лучшим выбором. Их можно комбинировать: модель, настроенная на тон бренда, отвечает из хранилища RAG с актуальными фактами.
- Используйте RAG для фактов, которые меняются: цены, запасы, политики, спецификации
- Используйте fine-tuning для стабильных паттернов: тон, формат вывода, метки классификации
- Не используйте ни то, ни другое, если хорошо написанный промпт с несколькими примерами уже работает
Кто поддерживает хранилище документов?
Каждой системе RAG нужен владелец со стороны клиента, который знает, когда документ меняется. В типичной настройке менеджеры по продукту обновляют спецификации, юридический отдел обновляет отказы от ответственности, а маркетинг обновляет предложения, каждый в своей папке. Еженедельная проверка помечает документы старше установленного возраста для пересмотра.
С чего начать на этой неделе
Соберите десять документов, на которые больше всего полагаются ваши отделы продаж и поддержки, и проверьте каждый на наличие даты и владельца. Удалите или отметьте все устаревшее. Затем напишите двадцать реальных вопросов клиентов с правильными ответами рядом с ними. Эти два списка, чистые источники и тестовый набор, являются фундаментом любого проекта RAG, независимо от того, какой инструмент вы выберете позже.
Читать далее: ИИ-оптимизация · ИИ-оптимизация