Vektordatenbank und Embedding: Schritt-für-Schritt

Ein Embedding ist eine numerische Darstellung von Text, Bildern oder anderen Daten, die von einem Modell erstellt wurde. Texte zu ähnlichen Themen erhalten ähnliche Vektoren, sodass “günstige Flüge nach Rom” und “Budget-Flugtickets Italien” nahe beieinander landen, auch wenn sie keine gemeinsamen Wörter haben. Embedding-Modelle werden von OpenAI, Google, Cohere, Voyage AI und als offene Modelle angeboten, wie sie auf dem MTEB-Leaderboard von Hugging Face gelistet sind.

Eine Vektordatenbank speichert diese Vektoren zusammen mit ihrem Quelltext und Metadaten und beantwortet die Frage “Was ist dem am nächsten?” in Millisekunden. Zu den Optionen gehören verwaltete Dienste wie Pinecone, Weaviate Cloud und Qdrant Cloud, Erweiterungen wie pgvector für PostgreSQL und Vektorsuchfunktionen in Tools, die Teams möglicherweise bereits verwenden, wie Elasticsearch, OpenSearch, MongoDB Atlas und BigQuery.

Embeddings helfen überall dort, wo Bedeutung wichtiger ist als Keywords:

• Finden von nahezu doppelten Blogbeiträgen, die um dieselbe Suchintention konkurrieren.
• Vorschlagen interner Links zwischen verwandten Artikeln.
• Unterstützung einer Seitensuche, die Synonyme und Fragen versteht.
• Verankerung eines Support- oder Sales-Chatbots in Unternehmensdokumenten, bekannt als Retrieval-Augmented Generation.
• Clustering von Keyword-Listen oder Kundenfeedback in Themen.
• Abgleich von Produkten mit Suchanfragen in Katalogen mit inkonsistenter Benennung.

Der Kernprozess ist für die meisten Aufgaben gleich:

• Sammeln Sie den Inhalt: Exportieren Sie Beiträge, Seiten, Produkte oder Tickets mit IDs, URLs und Metadaten wie Sprache und Kategorie.
• Bereinigen Sie ihn: Entfernen Sie Navigation, Fußzeilen, Skripte und wiederholte Boilerplate-Texte, die alles ähnlich aussehen lassen würden.
• Unterteilen Sie ihn: Teilen Sie lange Dokumente in Passagen von einigen hundert Wörtern auf, idealerweise bei Überschriften.
• Einbetten: Senden Sie jeden Abschnitt an ein Embedding-Modell und speichern Sie den Vektor mit seiner ID und seinen Metadaten.
• Indizieren: Laden Sie Vektoren mit Metadatenfiltern wie Sprache oder Inhaltstyp in die Vektordatenbank.
• Abfragen: Betten Sie die Frage oder den Quelltext mit demselben Modell ein und rufen Sie die nächsten Abschnitte ab.
• Überprüfen: Überprüfen Sie eine Stichprobe der Ergebnisse manuell und passen Sie die Unterteilung oder Filter an.

Die Verwendung desselben Modells für Dokumente und Abfragen ist unerlässlich. Vektoren aus verschiedenen Modellen leben in verschiedenen Räumen und können nicht verglichen werden.

Die Unterteilung bestimmt die Qualität

Abschnitte, die zu lang sind, verwischen mehrere Themen zu einem Vektor; Abschnitte, die zu kurz sind, verlieren den Kontext. Das Teilen bei H2- oder H3-Überschriften funktioniert bei Artikeln normalerweise gut, wobei der Seitentitel zu jedem Abschnitt hinzugefügt wird, damit die Passage ihr Thema behält. Testen Sie zwei oder drei Größen bei echten Abfragen, bevor Sie sich festlegen. Eine Überschneidung von ein oder zwei Sätzen zwischen benachbarten Abschnitten hilft auch, wenn Antworten an einer Grenze liegen.

Für ein Content-Audit betten Sie einen Vektor pro Artikel ein, der aus dem Titel, der Einleitung und den Überschriften erstellt wurde, anstatt aus dem vollständigen Text, was das Signal verwässert. Rufen Sie für jeden Artikel seine nächsten Nachbarn ab und markieren Sie Paare oberhalb eines Ähnlichkeitsschwellenwerts. Der richtige Schwellenwert hängt vom Modell und Inhalt ab, also legen Sie ihn fest, indem Sie Paare auf mehreren Ebenen überprüfen.

Markierte Paare gehen dann an einen Redakteur, der entscheidet, ob er sie zusammenführen, umleiten, differenzieren oder beide behalten soll. Zusammengeführte Seiten sollten mit einem 301 auf die behaltene Version umgeleitet werden. Der Embedding-Schritt findet Kandidaten in Minuten über Tausende von Beiträgen hinweg; die redaktionelle Entscheidung erfordert immer noch eine Person, die die Suchintention hinter jeder Seite kennt.

Betten Sie jeden Artikel ein und rufen Sie für jeden Beitrag die nächsten fünf bis zehn anderen mit derselben Sprache und einem veröffentlichten Status ab. Präsentieren Sie sie dem Redakteur als Vorschläge mit der Passage, die übereinstimmte, damit der Ankertext natürlich gewählt werden kann. Schließen Sie Seiten aus, die als noindex markiert sind, sowie sehr kurze Seiten, die schlechte Linkziele abgeben.

Führen Sie es erneut aus, wenn eine neue Charge von Inhalten live geht. Neue Beiträge erhalten Links von älteren verwandten Artikeln, was ihnen hilft, entdeckt und gecrawlt zu werden.

Einige Probleme treten immer wieder auf. Boilerplate-Text, der durch die Bereinigung geschlüpft ist, lässt nicht verwandte Seiten ähnlich aussehen. Gemischte Sprachen in einem Index erzeugen seltsame Übereinstimmungen, sofern sie nicht nach Sprache gefiltert werden. Die Kosten steigen mit dem erneuten Einbetten, also speichern Sie Vektoren und betten Sie nur geänderten Inhalt erneut ein. Und Ähnlichkeit ist nicht Wahrheit: Ein Chatbot, der auf abgerufenen Abschnitten basiert, kann sie immer noch falsch lesen, daher benötigen Antworten Quelllinks und Überprüfung.

Datenschutz gilt auch. Kundentickets und CRM-Notizen, die an eine gehostete Embedding-API gesendet werden, verlassen Ihre Systeme. Verwenden Sie Anbieter, deren Datenbedingungen passen, oder offene Modelle, die in Ihrer eigenen Umgebung gehostet werden, für sensibles Material.