Vektör veritabanları, metin, görsel veya ürünlerin sayısal temsilleri olan gömülüleri saklar ve bir sorguya anlam olarak en yakın öğeleri bulur. Pinecone, Weaviate, Qdrant, Milvus ve PostgreSQL için pgvector yaygın seçeneklerdir. Değerlerini ölçmek, teknik düzeyde getirme kalitesini, hızı ve maliyeti takip etmek, ardından bunları arama dönüşümleri, sohbet botu çözümü veya öneri tıklamaları gibi iş sonuçlarıyla ilişkilendirmek anlamına gelir.
Pazarlama ekipleri vektör veritabanlarıyla üç ana yerde karşılaşır: tam kelimelerden ziyade anlamı anlayan site içi arama, getirme ile artırılmış üretim yoluyla şirket belgelerinden yanıt veren yapay zeka asistanları ve ürün veya içerik önerileri. Her üçünde de veritabanı müşteriler için görünmezdir. İşte bu yüzden kendi ölçümüne ihtiyaç duyar; aksi takdirde zayıf bir getirme katmanı, üzerine inşa edilen her şeyi sessizce aşağı çeker.
Gömülüler nedir ve neden ölçülmeleri gerekir?
OpenAI, Google, Cohere veya sentence-transformers ailesi gibi açık kaynaklı seçeneklerden gelen bir gömülü modeli, bir metin parçasını sayı listesine dönüştürür. Benzer anlama sahip metinler birbirine yakınlaşır. Vektör veritabanı daha sonra “hangi on yardım makalesi bu müşteri sorusuna en yakındır?” gibi soruları milisaniyeler içinde yanıtlar.
İki seçim kaliteyi belirler: gömülü modeli ve içeriğin gömülmeden önce parçalara nasıl bölündüğü. Türkçeyi kötü işleyen bir model, Türkçe sorgular için zayıf eşleşmeler getirecektir. Çok uzun parçalar birkaç konuyu karıştırır; çok kısa parçalar ise bağlamı kaybeder. Sorunların hiçbiri hata mesajı olarak görünmez. Sadece ölçüm bunu ortaya çıkarır.
Hangi teknik KPI’lar getirme kalitesini gösterir?
Önce bir test seti oluşturun: her biri bir insanın doğru cevap olduğunu kabul ettiği belgeler veya ürünlerle eşleştirilmiş gerçek sorguların bir listesi. Elli ila iki yüz sorgu, çoğu pazarlama kullanım durumu için makul bir başlangıçtır. Ardından sistemi buna göre ölçün.
- k’da geri çağırma (Recall at k): doğru bir öğenin ilk k sonuçta göründüğü sorguların payı, genellikle k 5 veya 10’a eşittir.
- Ortalama karşılıklı sıra (Mean reciprocal rank): ilk doğru sonucun ortalama olarak ne kadar yüksek göründüğü.
- k’da hassasiyet (Precision at k): aslında alakalı olan ilk k sonuçların payı.
- 95. yüzdelik dilimde gecikme: yavaş sorguların ne kadar sürdüğü, sadece ortalama değil.
- Bin sorgu başına maliyet: gömülü çağrıları, veritabanı kullanımı ve herhangi bir yeniden sıralama modeli.
Gömülü modelini, parça boyutunu veya dizin ayarlarını her değiştirdiğinizde test setini yeniden çalıştırın. Yapılandırmada küçük görünen bir değişiklik, geri çağırmayı her iki yönde de gözle görülür şekilde hareket ettirebilir.
Yaklaşık arama ödünleşimleri
Çoğu vektör veritabanı, büyük hız kazanımları için biraz doğruluktan ödün veren HNSW gibi yaklaşık en yakın komşu dizinlerini kullanır. HNSW’deki ef_search gibi ayarlar bu dengeyi kontrol eder. Ayar yaparken geri çağırma ve gecikmeyi birlikte ölçün; birini maksimize etmek genellikle diğerine zarar verir.
Hangi iş KPI’ları veritabanını değerle ilişkilendirir?
Teknik metrikler mühendisleri ikna eder. Bütçeler iş metriklerine göre onaylanır. Kullanım durumuna uygun olanları seçin.
- Site içi arama: arama çıkış oranı, sıfır sonuç oranı, arama kullanan oturumların dönüşüm oranı, arama oturumu başına gelir.
- RAG asistanı: çözüm oranı, doğru alıntılanmış kaynağa sahip yanıtların payı, devretme oranı, tekrar iletişim oranı.
- Öneriler: önerilen öğelere tıklama oranı, önerilerden sepete ekleme, bir kontrol grubuna karşı ziyaretçi başına gelir.
- İçerik keşfi: ilgili içerik modüllerinden oturum başına sayfa sayısı, geri gelen ziyaretler.
Sıfır sonuç oranı izlenmesi gereken hızlı bir kazanımdır. Anahtar kelime araması genellikle eş anlamlılar veya yazım hataları için hiçbir şey döndürmez. Semantik arama bunu keskin bir şekilde azaltmalıdır. Eğer azaltmıyorsa, dil desteğini ve ürün verilerinin gömülüp gömülmediğini kontrol edin.
Gösterge paneli nasıl oluşturulmalıdır?
İki katman kullanın. Mühendislik katmanı geri çağırmayı, gecikmeyi, hata oranını ve maliyeti, ideal olarak veritabanının kendi izlemesinden ve test setinin planlanmış bir çalışmasından takip eder. İş katmanı, GA4 ve Looker Studio veya BI aracınızda, yukarıdaki sonuç metriklerini takip eder.
Bunları paylaşılan bir olayla bağlayın. Site içi arama için, sorgu, sonuç sayısı ve arama türü (semantik veya anahtar kelime) ile bir GA4 olayı gönderin. Bu, sonuçları arama türüne göre karşılaştırmanıza ve semantik sonuçların düşük performans gösterdiği sorguları tespit etmenize olanak tanır.
Hangi hatalar vektör projelerinin olduğundan daha iyi görünmesine neden olur?
Sadece kolay sorgularda test etmek en yaygın olanıdır. Test seti sistemi kuran kişi tarafından yazılmışsa, içeriğin kendi ifadelerini yansıtma eğilimindedir. Bunun yerine, arama günlüklerinden ve destek biletlerinden gerçek sorguları, yazım hataları ve karışık diller dahil olmak üzere çekin.
İkincisi tazeliği görmezden gelmektir. Ürünler stokta kalmadığında veya makaleler güncellendiğinde, gömülüler yenilenmelidir. Dizin gecikmesini takip edin: bir içerik değişikliği ile güncellenmiş vektörü arasındaki süre. Üretimi durdurulmuş ürünleri öneren bir öneri modülü güveni hızla zedeler.
Üçüncüsü anahtar kelime temelini atlamaktır. BM25 gibi anahtar kelime eşleştirmesini vektör benzerliği ile birleştiren hibrit arama, ürün adları ve kodları için genellikle saf vektör aramasını yener. Karar vermeden önce her ikisini de ölçün.
Maliyetler nasıl ölçeklenir?
Maliyetler üç yerden gelir: içerik eklendiğinde veya değiştirildiğinde gömülü oluşturma, vektörleri depolama ve sorguları çalıştırma. Pinecone gibi yönetilen hizmetler kullanım veya kapasiteye göre fiyatlandırılır; Qdrant veya pgvector gibi kendi kendine barındırılan seçenekler maliyeti kendi sunucularınıza ve personel sürenize kaydırır. Küçük ölçekte, mevcut bir PostgreSQL veritabanı içindeki pgvector genellikle en ucuz yoldur.
Gömülü boyutu depolamayı ve hızı etkiler. Bazı güncel modeller, sınırlı kalite kaybıyla gömülüleri kısaltmanıza izin verir. Milyonlarca öğe için tam boyutlu vektörleri depolamak için ödeme yapmadan önce daha küçük bir boyutu test setinize karşı test edin.
Alien Road vektör veritabanlarını ve gömülüleri nasıl uygular
Tipik bir çalışmada keşif, kullanım durumu ve içerikle başlar: ürün kataloğu, yardım merkezi, blog arşivi veya üçü birden. Arama günlüklerinden ve biletlerden gerçek sorguları topluyoruz ve müşterinin ekibiyle etiketlenmiş bir test seti oluşturuyoruz.
Kurulum, müşterinin dillerini işleyen bir gömülü modeli seçmeyi, parça boyutlarını test etmeyi, yığınlarına uyan bir veritabanı seçmeyi (PostgreSQL zaten yerindeyse genellikle pgvector), ve hibrit aramayı test setinde saf vektör aramasına karşı karşılaştırmayı içerir.
Raporlama iki katmanlı modeli izler: geri çağırma, gecikme ve maliyetin aylık teknik kontrolü ve projeye bağlı olarak arama dönüşümü, asistan çözümü veya öneri gelirinin iş gösterge paneli.
Bu hafta nereden başlamalı
Site içi aramanızdan veya destek gelen kutunuzdan ilk iki yüz sorguyu dışa aktarın. Sıfır sonuçlu sorguları ve çıkışa yol açanları işaretleyin. Bu liste hem test setinizin başlangıcı hem de daha iyi bir getirmenin neyi düzeltmesi gerektiğinin net bir resmidir.
Ardından bunlardan ellisi için doğru cevabı etiketleyin. Bu küçük setle, altyapıya harcama yapmadan önce, herhangi bir vektör kurulumunu mevcut aramanızla bir öğleden sonra karşılaştırabilirsiniz.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu