Векторные базы данных и рабочие процессы эмбеддингов: пошаговые процессы

Эмбеддинг — это числовое представление текста, изображений или других данных, созданное моделью. Тексты на похожие темы получают похожие векторы, поэтому “дешевые авиабилеты в Рим” и “бюджетные авиабилеты Италия” оказываются рядом, даже если у них нет общих слов. Модели эмбеддингов предлагаются OpenAI, Google, Cohere, Voyage AI, а также в виде открытых моделей, таких как те, что перечислены в таблице лидеров MTEB на Hugging Face.

Векторная база данных хранит эти векторы вместе с исходным текстом и метаданными и отвечает на вопрос “что ближе всего к этому?” за миллисекунды. Варианты включают управляемые сервисы, такие как Pinecone, Weaviate Cloud и Qdrant Cloud, расширения, такие как pgvector для PostgreSQL, и функции векторного поиска в инструментах, которые команды, возможно, уже используют, такие как Elasticsearch, OpenSearch, MongoDB Atlas и BigQuery.

Эмбеддинги помогают везде, где смысл важнее ключевых слов:

• Поиск почти дублирующихся записей в блоге, которые конкурируют за один и тот же поисковый запрос.
• Предложение внутренних ссылок между связанными статьями.
• Обеспечение поиска по сайту, который понимает синонимы и вопросы.
• Обоснование чат-бота поддержки или продаж документами компании, известное как генерация с дополнением поиска.
• Кластеризация списков ключевых слов или отзывов клиентов по темам.
• Сопоставление продуктов с запросами в каталогах с непоследовательными названиями.

Основной процесс одинаков для большинства задач:

• Соберите контент: экспортируйте записи, страницы, продукты или тикеты с ID, URL и метаданными, такими как язык и категория.
• Очистите его: удалите навигацию, футеры, скрипты и повторяющийся шаблонный текст, из-за которого все выглядело бы одинаково.
• Разбейте его: разделите длинные документы на фрагменты по несколько сотен слов, в идеале по заголовкам.
• Встройте его: отправьте каждый фрагмент в модель эмбеддинга и сохраните вектор с его ID и метаданными.
• Индексируйте его: загрузите векторы в векторную базу данных с фильтрами метаданных, такими как язык или тип контента.
• Запросите его: встройте вопрос или исходный текст с помощью той же модели и получите ближайшие фрагменты.
• Проверьте его: вручную проверьте выборку результатов и настройте разбиение или фильтры.

Использование одной и той же модели для документов и запросов имеет важное значение. Векторы из разных моделей живут в разных пространствах и не могут быть сравнены.

Разбиение определяет качество

Слишком длинные фрагменты размывают несколько тем в один вектор; слишком короткие фрагменты теряют контекст. Разбиение по заголовкам H2 или H3 обычно хорошо работает для статей, при этом заголовок страницы добавляется к каждому фрагменту, чтобы отрывок сохранял свою тему. Протестируйте два или три размера на реальных запросах, прежде чем принимать решение. Перекрытие одного или двух предложений между соседними фрагментами также помогает, когда ответы находятся на границе.

Для аудита контента встройте один вектор на статью, построенный на основе заголовка, введения и заголовков, а не полного текста, который размывает сигнал. Для каждой статьи получите ее ближайших соседей и отметьте пары, превышающие порог сходства. Правильный порог зависит от модели и контента, поэтому установите его, просматривая пары на нескольких уровнях.

Отмеченные пары затем отправляются редактору, который решает объединить, перенаправить, дифференцировать или сохранить обе. Объединенные страницы должны перенаправляться с помощью 301 на сохраненную версию. Шаг эмбеддинга находит кандидатов за считанные минуты среди тысяч записей; редакционное решение все равно требует человека, который знает поисковое намерение за каждой страницей.

Встройте каждую статью и для каждой записи получите от пяти до десяти ближайших других с тем же языком и опубликованным статусом. Представьте их редактору в виде предложений с соответствующим отрывком, чтобы якорный текст можно было выбрать естественным образом. Исключите страницы, помеченные как noindex, и очень короткие страницы, которые являются плохими целями для ссылок.

Запускайте это снова, когда выходит новая партия контента. Новые записи получают ссылки от старых связанных статей, что помогает им быть обнаруженными и проиндексированными.

Некоторые проблемы возникают неоднократно. Шаблонный текст, который проскользнул через очистку, делает несвязанные страницы похожими. Смешанные языки в одном индексе создают странные совпадения, если не фильтровать по языку. Расходы растут при повторном встраивании, поэтому сохраняйте векторы и встраивайте только измененный контент. И сходство — это не истина: чат-бот, основанный на полученных фрагментах, все равно может прочитать их неправильно, поэтому ответы нуждаются в исходных ссылках и проверке.

Конфиденциальность также имеет значение. Тикеты клиентов и заметки CRM, отправленные в размещенный API эмбеддингов, покидают ваши системы. Используйте провайдеров, чьи условия обработки данных подходят, или открытые модели, размещенные в вашей собственной среде, для конфиденциальных материалов.