Рабочие процессы Retrieval-augmented generation (RAG) экономят время, позволяя языковой модели отвечать на основе ваших собственных документов, а не по памяти. Система RAG ищет соответствующие отрывки в базе знаний, передает их модели вместе с вопросом и запрашивает ответ, основанный на этих отрывках, желательно с цитатами. Для маркетинговых команд это превращает бренд-гайды, спецификации продуктов, прошлые кампании и исследования в то, что можно запросить за секунды.
Какую проблему решает RAG?
Языковые модели много знают о мире, но ничего не знают о последнем прайс-листе вашей компании. Дообучение модели на внутренних документах — процесс медленный и плохо справляется с частыми обновлениями. RAG хранит знания вне модели, в доступном для поиска хранилище, поэтому обновление документа обновляет и ответы.
Это также уменьшает количество выдуманных ответов. Когда модели дают указание отвечать только на основе найденных отрывков и сообщать, если ничего релевантного не найдено, она выдумывает меньше. Не никогда, поэтому оценка важна.
Из каких частей состоит рабочий процесс RAG?
- Сбор документов: файлы и страницы, которые система должна знать.
- Подготовка: очистка, преобразование в текст, удаление дубликатов и устаревших версий.
- Чанкинг (Chunking): разбиение документов на отрывки, достаточно маленькие для точного поиска.
- Эмбеддинг: превращение каждого отрывка в вектор с помощью модели эмбеддинга.
- Хранение: векторная база данных или поисковый индекс, такой как pgvector, Pinecone, Weaviate, Elasticsearch или Azure AI Search.
- Поиск (Retrieval): нахождение наиболее релевантных отрывков для вопроса, часто с использованием комбинации ключевых слов и векторного поиска.
- Генерация: модель пишет ответ на основе этих отрывков со ссылками.
Управляемые сервисы объединяют многие из этих шагов. Поиск по файлам в API Assistants и Responses от OpenAI, Google Vertex AI Search, Amazon Bedrock Knowledge Bases и Azure AI Search с Azure OpenAI — все они берут на себя чанкинг и поиск. Для первого проекта управляемый вариант обычно быстрее.
Пошаговый рабочий процесс для маркетинговой базы знаний
Шаг 1: Выберите узкую область
Начните с одного типа вопросов, например: «что мы можем сказать о продукте X в рекламе?». Соберите только те документы, которые на него отвечают: спецификации продуктов, утвержденные заявления, бренд-гайды и юридические примечания. Маленькая, чистая коллекция лучше, чем огромная и беспорядочная.
Шаг 2: Очистите документы
Удалите старые версии или хотя бы пометьте их датами. Преобразуйте PDF в текст и проверьте, правильно ли перенеслись таблицы. Отсканированные документы требуют OCR. Этот шаг скучный, но именно он определяет большую часть качества.
Шаг 3: Чанкинг по смыслу
По возможности разбивайте по заголовкам или разделам, а не по фиксированному количеству символов. Сосредоточьте каждый чанк на одной идее и добавьте метаданные: название документа, раздел, дата, продукт и язык. Метаданные позволяют фильтровать поиск, например, только по актуальным документам.
Шаг 4: Поиск с гибридным поиском
Чистый векторный поиск пропускает точные термины, такие как коды продуктов. Чистый поиск по ключевым словам пропускает перефразирования. Большинство производственных систем объединяют оба метода, а затем переранжируют лучшие результаты с помощью модели переранжирования. Извлекайте больше, чем нужно, а затем оставляйте лучшие результаты.
Шаг 5: Промпт для обоснованных ответов
Дайте модели четкие правила: отвечайте только на основе предоставленных отрывков, цитируйте название документа для каждого утверждения, говорите «не найдено в документах», если ответа нет, и никогда не угадывайте цены или даты. Поместите правила в системный промпт, чтобы пользователи не могли случайно их удалить.
Шаг 6: Покажите источники пользователю
Отображайте процитированные отрывки рядом с ответом со ссылками на исходный файл. Люди больше доверяют ответу и быстрее находят ошибки, когда источник находится на расстоянии одного клика.
Как узнать, работает ли система RAG?
Создайте тестовый набор из 50–100 реальных вопросов с известными правильными ответами и документом, из которого взят каждый ответ. Измеряйте две вещи отдельно. Качество поиска: появился ли правильный отрывок в топ-результатах? Качество ответа: был ли итоговый ответ правильным и подтвержденным отрывком?
Разделение этих двух показателей показывает, где нужно исправлять проблемы. Если поиск не удается, настройте чанкинг, метаданные или настройки поиска. Если поиск работает, но ответы неверны, настройте промпт или модель. Инструменты, такие как Ragas и аналогичные open-source оценщики, могут автоматизировать части этого процесса, но пусть люди проверяют выборку.
Как Alien Road применяет RAG в работе с клиентами
В типичном проекте наша команда по AI Optimization начинает с интервьюирования людей, которые чаще всего отвечают на внутренние вопросы, например, бренд-менеджера или продакт-маркетолога, и сбора вопросов, которые они получают каждую неделю. Эти вопросы становятся тестовым набором.
Затем мы собираем и очищаем исходные документы, выбираем управляемый сервис поиска или настраиваемый конвейер в зависимости от правил данных и создаем простой интерфейс внутри инструмента, который клиент уже использует, например, Teams, Slack или интранет. Ответы всегда показывают источники.
Измерение охватывает коэффициент успешности поиска и точность ответов на тестовом наборе, еженедельное использование и вопросы, которые вернули «не найдено», что указывает на отсутствующие документы. Ежемесячные отчеты содержат список внесенных обновлений документов и изменение оценок.
Какие ошибки замедляют RAG-проекты?
Большинство задержек происходит из-за одних и тех же привычек. Команды загружают все документы, которые у них есть, в первый же день, а затем не могут понять, почему ответы плохие. Они пропускают тестовый набор и спорят о впечатлениях. Они выбирают векторную базу данных, не зная, сколько у них документов, хотя управляемого сервиса было бы достаточно. И они забывают о правах доступа: если презентация по продажам ограничена в SharePoint, система RAG должна соблюдать это ограничение, иначе конфиденциальные цены попадут в ответ не тому человеку.
- Начните с одной коллекции, а не со всех.
- Напишите тестовый набор перед выбором инструментов.
- Перенесите права доступа к документам в фильтры поиска.
- Записывайте каждый вопрос и ответ для проверки.
Как поддерживать актуальность?
Системы RAG устаревают, когда документы меняются, а их никто не переиндексирует. Настройте автоматическую синхронизацию из исходной папки, такой как SharePoint или Google Drive, и назначьте каждой коллекции владельца, который будет проверять ее ежеквартально. Удаляйте истекшие кампании и старые прайс-листы, а не оставляйте их для поиска.
С чего начать на этой неделе
Составьте список из десяти вопросов, на которые ваша команда постоянно отвечает из документов. Соберите файлы, содержащие ответы, в одну папку, удалите устаревшие версии и попробуйте управляемый поиск по файлам с этими десятью вопросами. Если хотя бы семь ответов вернулись правильными с верным источником, у вас есть область, на которой стоит строить.
Продолжить чтение: ИИ-оптимизация · ИИ-оптимизация