Retrieval-augmented generation (RAG) — это метод, при котором языковая модель сначала ищет информацию в ваших собственных документах, а затем пишет ответ на основе найденного. Он превосходит традиционный поиск по сайту, статические FAQ и чат-боты на основе правил, когда вопросы разнообразны, а ваш контент обширен. Он проигрывает, когда вопросы редки и предсказуемы, когда ответы должны быть точными или когда ваш исходный контент беспорядочен и устарел.
Как работает RAG простыми словами?
Система RAG состоит из трех частей. Во-первых, ваши документы разбиваются на фрагменты и превращаются в эмбеддинги (числовые представления смысла), которые хранятся в векторной базе данных или поисковом индексе. Во-вторых, когда пользователь задает вопрос, система находит наиболее похожие на него фрагменты. В-третьих, эти фрагменты передаются языковой модели с инструкцией отвечать, используя только этот материал.
Привлекательность заключается в том, что модель может отвечать на основе актуальной, частной информации, на которой она никогда не обучалась, например, ваших руководств по продуктам, документов с политиками или центра поддержки. Ответ также может содержать ссылку на документ, из которого он был взят, что облегчает проверку.
Какие традиционные инструменты он заменяет?
Перед сравнением полезно назвать то, что большинство компаний уже используют.
- Поиск по ключевым словам на сайте, такой как поиск WordPress, Algolia или Elasticsearch, который возвращает список соответствующих страниц.
- Статические страницы FAQ и центры поддержки, созданные в Zendesk, Intercom или CMS.
- Чат-боты на основе правил или деревьев решений, которые следуют скриптовым потокам с кнопками.
- Агенты поддержки, работающие с внутренней базой знаний.
Каждый из них дешевле в эксплуатации и легче прогнозируется, чем RAG. Вопрос в том, получают ли ваши пользователи то, что им нужно, от них.
Когда стоит переходить на RAG?
RAG окупается, когда разрыв между тем, о чем спрашивают пользователи, и тем, как организован ваш контент, велик. Несколько признаков:
Пользователи спрашивают своими словами
Если ваши журналы поиска показывают много запросов, которые не дают результатов или ведут на неправильную страницу, поиск по ключевым словам не справляется со словарем. RAG сопоставляет смысл, поэтому “могу ли я вернуть диван через две недели” находит политику возврата, даже если слово “диван” никогда не используется.
Ответы разбросаны по документам
Когда для правильного ответа нужно предложение из гарантии, другое со страницы доставки и цифра из листа продукта, список результатов поиска заставляет пользователя собирать их самостоятельно. RAG может объединить их.
Ваш контент обширен и часто меняется
Ботам на основе правил нужен кто-то, кто вручную обновляет каждый поток. RAG читает последнюю версию ваших документов после их переиндексации, поэтому обслуживание переходит от написания скриптов к поддержанию правильности исходного контента.
Когда не стоит переходить?
Есть четкие случаи, когда традиционные инструменты — лучший выбор.
Если ваши топ-20 вопросов покрывают большую часть трафика, хорошо написанная страница FAQ и скриптовый бот ответят на них быстрее, дешевле и без риска выдуманного ответа. Посмотрите на свои тикеты поддержки, прежде чем что-то строить.
Если ответы должны быть точными и юридически обязывающими, например, тарифные ставки, дозировки лекарств или условия контракта, сгенерированный парафраз — это ответственность. Вместо этого дайте ссылку на авторитетную страницу или покажите исходный текст дословно.
Если ваши документы противоречат друг другу, RAG отразит противоречие, иногда выбирая неверную версию. Очистка контента — это обязательное условие, а не дополнительная опция.
И если никто не владеет контентом, система придет в упадок. Устаревшие документы в индексе порождают устаревшие ответы, выдаваемые с уверенностью.
Как сравниваются варианты?
Сравнение бок о бок помогает при представлении решения другим.
- Усилия по настройке: страница FAQ низкие; поиск по ключевым словам низкие-средние; скриптовый бот средние; RAG средние-высокие.
- Стоимость эксплуатации: FAQ почти ноль; поиск низкая; скриптовый бот низкая; RAG выше, так как каждый ответ вызывает модель.
- Обработка разнообразных формулировок: FAQ плохо; поиск по ключевым словам средне; скриптовый бот плохо; RAG хорошо.
- Риск неверных ответов: FAQ низкий; поиск низкий; скриптовый бот низкий; RAG умеренный без тестирования.
- Обслуживание: FAQ и боты требуют ручных обновлений; RAG требует чистого исходного контента и переиндексации.
Как выглядит грамотный проект RAG?
Начните с оценки, а не с архитектуры. Соберите 50-100 реальных вопросов из журналов поиска, тикетов поддержки и звонков по продажам, и напишите правильный ответ для каждого. Этот набор — то, по чему вы будете судить каждую версию системы.
Затем постройте самый простой конвейер, который может работать: управляемый вариант, такой как OpenAI file search, Google Vertex AI Search, Azure AI Search или хостинговая векторная база данных, такая как Pinecone с популярной моделью. Измерьте, на сколько тестовых вопросов он отвечает правильно и сколько отклоняет, когда должен. Добавляйте сложность, такую как переранжирование или гибридный поиск по ключевым словам плюс векторный поиск, только когда тестовый набор показывает конкретный сбой.
Сохраняйте резервный вариант. Когда система не уверена, она должна сказать об этом и предложить ссылку или человека, а не гадать.
Как Alien Road применяет RAG
В типичном проекте мы начинаем с аудита контента и вопросов: мы извлекаем журналы поиска по сайту, темы тикетов поддержки и документы, которые должны на них отвечать. Многие проекты останавливаются здесь, потому что аудит показывает, что переписывание десяти ответов FAQ решает большую часть проблемы. Когда RAG оправдан, мы очищаем и тегируем исходные документы, создаем набор тестовых вопросов с командой поддержки клиента и настраиваем управляемый конвейер поиска, подключенный к чат-виджету или внутреннему инструменту.
Перед запуском система должна пройти согласованный порог точности на тестовом наборе. После запуска отчетность охватывает отвеченные и неотвеченные вопросы, передачу людям и новые вопросы для добавления в план контента. Например, помощник клиента электронной коммерции может отвечать на вопросы о доставке и возврате со страниц текущих политик, при этом каждый ответ ссылается на свой источник.
С чего начать на этой неделе
Экспортируйте запросы поиска по сайту и темы тикетов поддержки за последние три месяца. Группируйте их по темам и отметьте, на какие из них ваши текущие страницы уже хорошо отвечают. Если большинство покрыто, сначала улучшите эти страницы. Если многие вопросы остаются между документами или используют формулировки, которых нет в вашем контенте, у вас есть реальный кейс для RAG и готовый тестовый набор для его построения.
Читайте далее: ИИ-оптимизация · ИИ-оптимизация