Retrieval-augmented generation (RAG) — это метод, при котором система ИИ сначала ищет информацию в наборе ваших собственных документов, таких как данные о продуктах, правила и справочные статьи, а затем пишет ответ на основе найденного. Для брендов электронной коммерции RAG обеспечивает работу помощников по покупкам, ботов поддержки и внутренних инструментов, которые отвечают на основе актуальных данных каталога и политики, а не общей памяти модели.
Идея возникла из исследовательской работы 2020 года, написанной Патриком Льюисом и коллегами из Facebook AI Research и партнерских университетов. Сейчас это наиболее распространенный шаблон для бизнес-ассистентов на базе ИИ, поскольку он привязывает ответы к источникам, которые бизнес контролирует и обновляет.
Как работает RAG шаг за шагом?
Система RAG состоит из двух частей. Первая подготавливает ваш контент: документы разбиваются на фрагменты, каждый фрагмент преобразуется в числовое представление, называемое эмбеддингом, и эти эмбеддинги попадают в поисковый индекс, часто в векторную базу данных. Вторая часть отвечает на вопросы: вопрос пользователя преобразуется в эмбеддинг, извлекаются наиболее близкие фрагменты, и языковая модель пишет ответ с их использованием.
- Поглощение: соберите фиды продуктов, страницы правил, справочные статьи и часто задаваемые вопросы.
- Разбиение: разделите их на отрывки по несколько сотен слов, сохраняя записи о продуктах целиком.
- Эмбеддинг и индексация: сохраните отрывки в векторном индексе, часто вместе с поиском по ключевым словам.
- Извлечение: найдите наиболее релевантные отрывки для каждого вопроса.
- Генерация: модель пишет ответ, цитируя или используя только эти отрывки.
- Обновление: переиндексируйте при изменении продуктов, цен или правил.
Многие платформы объединяют эти шаги: от облачных сервисов, таких как Azure AI Search, Google Vertex AI Search и Amazon Bedrock Knowledge Bases, до инструментов поддержки электронной коммерции со встроенными базами знаний. Пользовательские сборки используют такие фреймворки, как LangChain или LlamaIndex.
Какие варианты использования в электронной коммерции подходят для RAG?
Помощник по покупкам
Клиент спрашивает: «Какие из ваших кроссовок для бега подходят для широкой стопы при определенном бюджете?» Помощник RAG извлекает продукты, в данных которых упоминается широкая посадка, фильтрует по цене, а затем объясняет варианты. Качество сильно зависит от того, существует ли информация о посадке в данных о продукте. Если ее нет, ни одна модель не сможет выдумать ее достоверно.
Ответы по поддержке и правилам
Сроки возврата, зоны доставки, условия гарантии и варианты оплаты меняются. Бот поддержки RAG отвечает со страницы текущих правил, поэтому обновление страницы обновляет бота. Это большое преимущество перед тонкой настройкой (fine-tuning), где модель потребовала бы переобучения при каждом изменении правил.
Внутренние инструменты
- Агенты службы поддержки клиентов, ищущие правила и прошлые решения во время живого чата.
- Мерчендайзеры, спрашивающие, у каких продуктов отсутствуют таблицы размеров или инструкции по уходу.
- Адаптация новых сотрудников с ответами, взятыми из документов по внутренним процессам.
- Закупщики, запрашивающие спецификации поставщиков по сотням PDF-файлов.
Поддержка контента
Авторы могут создавать черновики сравнения продуктов или руководства по покупке, основанные на фактических атрибутах продукта, что уменьшает количество вымышленных спецификаций. Редактор по-прежнему проверяет каждое утверждение, но отправная точка основана на данных.
Что заставляет систему RAG отвечать плохо?
Большинство сбоев RAG — это сбои извлечения. Если нужный отрывок не найден, модель либо отвечает расплывчато, либо, что еще хуже, заполняет пробелы общими знаниями. Распространенными причинами являются плохое разбиение, устаревшие индексы и данные о продуктах, в которых отсутствуют детали, о которых спрашивают клиенты.
- Устаревший индекс: цены или запасы изменились, но индекс не был обновлен.
- Отсутствующие данные: атрибуты, такие как посадка, материал или совместимость, отсутствуют в фиде.
- Плохое разбиение: таблица правил, разделенная между фрагментами, теряет свой смысл.
- Пробелы в синонимах: клиенты говорят «кроссовки», в данных продукта написано «sneakers».
- Отсутствие правила отказа: модель отвечает, даже когда поиск не нашел ничего релевантного.
Гибридный поиск, сочетающий поиск по ключевым словам и векторный поиск, решает многие проблемы с синонимами и кодами продуктов. Четкая инструкция говорить «У меня нет этой информации», когда источники отсутствуют, предотвращает большинство вымышленных ответов.
Как протестировать помощника RAG перед запуском?
- Соберите 100 реальных вопросов клиентов из журналов чатов и электронных писем.
- Напишите правильный ответ и страницу-источник для каждого.
- Измерьте извлечение: нашла ли система правильный источник в своих топовых результатах?
- Измерьте ответы: правильные, частично правильные, неправильные или должным образом отклоненные.
- Включите сложные случаи: товары, которых нет в наличии, снятые с производства продукты, другие языки.
- Повторно тестируйте после каждого крупного изменения каталога или правил.
Разделите два показателя. Если извлечение хорошее, но ответы неправильные, исправьте промпт или модель. Если извлечение плохое, никакой промпт не поможет; исправьте данные и индекс.
Язык заслуживает собственного раунда тестирования. Магазин, продающий на турецком и английском языках, должен проверить, правильно ли турецкий вопрос извлекает данные о продуктах только на английском языке, или, что еще лучше, существуют ли ключевые атрибуты на обоих языках. Модели эмбеддингов различаются по качеству мультиязычности, и система, которая хорошо работает на английском, может незаметно пропустить половину турецких вопросов.
Как насчет конфиденциальности и безопасности?
Держите личные данные клиентов вне общего индекса. Поиск заказов должен осуществляться через безопасный, аутентифицированный вызов API, а не через документы, хранящиеся в векторной базе данных. Также следите за инъекциями промптов: если индексируются отзывы о продуктах или документы поставщиков, текст внутри них может попытаться дать инструкции модели. Относитесь к индексированному пользовательскому контенту как к ненадежному.
Как Alien Road применяет RAG для клиентов электронной коммерции
Типичное сотрудничество начинается с аудита вопросов: мы собираем вопросы из чатов и электронных писем за несколько месяцев, группируем их по темам и проверяем, действительно ли данные о продуктах и страницы правил клиента содержат ответы. Выявленные здесь пробелы часто важнее любого выбора технологии, потому что отсутствие данных о посадке или совместимости блокирует помощника с первого дня.
Настройка обычно использует существующую платформу, которая подходит к стеку клиента, с гибридным поиском, правилом отказа и запланированной переиндексацией, привязанной к фиду продуктов. Мы создаем тестовый набор из 100 вопросов вместе со службой поддержки клиента. Измерение отслеживает точность извлечения, точность ответов, скорость передачи агентам-людям и удовлетворенность клиентов в беседах с ботами, ежемесячно отчитываясь с примерами неудачных ответов и внесенными исправлениями.
С чего начать на этой неделе
Экспортируйте 100 недавних вопросов клиентов и для каждого найдите страницу на вашем сайте, которая на него отвечает. Отметьте те, на которые нигде нет ответа.
- Соберите вопросы из чата, электронной почты и сообщений на маркетплейсах.
- Сопоставьте каждый с исходной страницей или отметьте как отсутствующий.
- Исправьте пять главных отсутствующих ответов на самом сайте.
- Проверьте, включает ли ваш фид продуктов атрибуты, о которых спрашивают клиенты.
Это упражнение немедленно улучшает ваш сайт, и это именно тот тестовый набор, который позже понадобится системе RAG.
Продолжайте читать: ИИ-оптимизация · ИИ-оптимизация