Самые распространенные ошибки retrieval-augmented generation (RAG) — это подача в систему неструктурированного исходного контента, плохое разделение документов, доверие к поиску без его тестирования и запуск без способа измерения качества ответов. Большинство сбоев RAG выглядят как проблемы модели, но начинаются на уровнях данных и поиска. Агентства, создающие надежных RAG-помощников, тратят больше времени на подготовку контента и оценку, чем на выбор языковой модели.
Что такое retrieval-augmented generation?
RAG — это способ заставить языковую модель отвечать на основе вашей собственной информации. Когда пользователь задает вопрос, система ищет в базе знаний, обычно с помощью эмбеддингов, хранящихся в векторной базе данных, извлекает наиболее релевантные отрывки и передает их модели с инструкциями отвечать на их основе. Модель пишет ответ; этап поиска определяет, что она знает.
Общие инструменты включают такие фреймворки, как LangChain и LlamaIndex, векторные базы данных, такие как Pinecone, Weaviate, Qdrant или pgvector, и управляемые варианты, такие как поиск по файлам OpenAI, Google Vertex AI Search и Amazon Bedrock Knowledge Bases. Ошибки ниже применимы независимо от того, какой стек вы выберете.
Ошибка 1: Индексация контента, который никто не очистил
Команды часто направляют RAG-систему на весь общий диск или веб-сайт и ожидают хороших ответов. Результатом является база знаний, полная старых прайс-листов, черновиков документов, дубликатов страниц и противоречий. Модель извлекает то, что лучше всего подходит, даже если это устарело.
- Выбирайте источники намеренно и перечисляйте их, назначая владельца для каждого.
- Удаляйте черновики, устаревшие версии и дубликаты перед индексацией.
- Разрешайте противоречия, такие как две разные политики возврата, на уровне источника.
- Добавляйте метаданные, такие как дата, продукт и регион, чтобы поиск мог фильтровать.
Ошибка 2: Плохая фрагментация документов
Документы разбиваются на фрагменты (чанки) перед встраиванием. Слишком маленькие фрагменты теряют контекст; предложение о «плате» ничего не значит без абзаца, в котором упоминается услуга. Слишком большие фрагменты смешивают несколько тем и размывают поиск.
Что работает лучше
Разделяйте по структуре самого документа: заголовки, разделы и элементы списка. Сохраняйте заголовок вместе с его содержимым. Добавьте небольшое перекрытие между фрагментами и сохраняйте заголовок документа и путь к разделу с каждым фрагментом. Протестируйте несколько размеров фрагментов на реальных вопросах, а не выбирайте число из руководства.
Ошибка 3: Опора только на векторный поиск
Семантический поиск находит смысл, но может пропустить точные термины, такие как коды продуктов, названия и номера ошибок. Пользователь, спрашивающий о модели «X200-B», может получить отрывки о похожем продукте.
Гибридный поиск сочетает поиск по ключевым словам, например BM25, с векторным поиском и теперь поддерживается большинством векторных баз данных и поисковых платформ. Добавление этапа переранжирования (reranking), где отдельная модель переупорядочивает лучшие результаты по релевантности, часто еще больше улучшает ответы. Оба изменения требуют минимальных усилий и приносят очевидную пользу во многих проектах.
Ошибка 4: Слабые инструкции для модели
Если промпт не говорит модели отвечать только на основе извлеченного контента, она заполнит пробелы общими знаниями, что может быть неверно для вашего бизнеса. Если не сказано, что делать, когда ответ отсутствует, она будет гадать.
Инструктируйте модель цитировать использованные отрывки, четко говорить, когда информация недоступна, и предлагать связаться с человеком в таких случаях. Сохраняйте правила тона и формата в одном системном промпте, чтобы каждый ответ выглядел последовательно.
Ошибка 5: Отсутствие набора для оценки
Многие команды тестируют RAG-помощника, задавая ему несколько вопросов, которые пришли им в голову в тот день. Это упускает сложные случаи. Без фиксированного тестового набора никто не может сказать, помогло изменение или навредило.
- Соберите от пятидесяти до двухсот реальных вопросов из тикетов поддержки, писем по продажам или логов поиска.
- Напишите правильный ответ и исходный документ для каждого.
- Оценивайте поиск отдельно: появился ли правильный отрывок в лучших результатах?
- Оценивайте ответы на правильность, полноту и на то, остались ли они в рамках источников.
- Перезапускайте весь набор после каждого изменения контента, фрагментации, промптов или моделей.
Фреймворки, такие как Ragas, и инструменты внутри LangSmith, Langfuse или платформ поставщиков могут автоматизировать части этого, включая оценку на основе модели. Сохраняйте проверку выборки человеком, потому что автоматизированные судьи тоже совершают ошибки.
Ошибка 6: Игнорирование разрешений и конфиденциальности
Внутренний помощник, который извлекает данные из каждого документа, может раскрыть зарплаты, контракты или данные клиентов любому, кто спросит. Поиск должен соблюдать те же права доступа, что и исходные файлы. Помощники, ориентированные на клиентов, никогда не должны индексировать личные данные или внутренние заметки.
Проверяйте условия обработки данных для каждого сервиса в конвейере и соблюдайте правила, такие как GDPR или KVKK, когда задействованы личные данные.
Ошибка 7: Запустить и забыть
Контент меняется. Цены обновляются, продукты запускаются, политики переписываются. Если индекс не обновляется, помощник устаревает, продолжая звучать уверенно. Планируйте переиндексацию, отслеживайте, какие документы изменились, и просматривайте выборку живых разговоров каждую неделю, особенно те, где пользователи просили человека или плохо оценили ответ.
Как Alien Road применяет retrieval-augmented generation
В типичном проекте Alien Road начинает с аудита источников: какие документы и страницы помощник должен знать, кто ими владеет и где они конфликтуют. Мы сначала очищаем и реструктурируем приоритетный контент, часто переписывая длинные страницы в разделы по одной теме, с которыми лучше справляются и люди, и поиск.
Настройка следует практикам выше: фрагментация на основе структуры, гибридный поиск с переранжированием там, где это позволяет платформа, четкие системные инструкции и поиск с учетом разрешений. Перед запуском мы создаем набор для оценки на основе реальных вопросов клиента и согласовываем порог качества.
После запуска мы каждый месяц отчитываемся о точности поиска, баллах качества ответов, показателях передачи человеку и главных вопросах без ответов. Вопросы без ответов становятся задачами по контенту для команды клиента, что часто является источником наибольших достижений.
С чего начать на этой неделе
Если вы уже используете RAG-помощника, соберите пятьдесят реальных вопросов, которые он получил, и проверьте для каждого, был ли извлечен правильный документ. Если их было меньше большинства, исправьте контент и фрагментацию, прежде чем трогать модель. Если вы планируете его, сначала перечислите свои источники и владельцев; этот список определит качество проекта больше, чем любой выбор инструмента.
Читать далее: ИИ-оптимизация · ИИ-оптимизация