AI ajanlarını ölçmek, her bir görevin doğru tamamlanıp tamamlanmadığını, bir insanın ne sıklıkla müdahale etmesi gerektiğini, her görevin ne kadara mal olduğunu ve hangi iş sonucunu etkilediğini takip etmek anlamına gelir. Faydalı bir gösterge paneli bu dört katmanı yan yana gösterir: görev başarı oranı, eskalasyon oranı, tamamlanan görev başına maliyet ve nitelikli potansiyel müşteriler, çözülen biletler veya tasarruf edilen saatler gibi bir sonuç metriği, ajansız yapılan aynı iş ile karşılaştırıldığında.
AI ajanı, bir hedefe ulaşmak için CRM, arama işlevi veya e-posta sistemi gibi araçları çağırmak ve adımları planlamak için bir dil modeli kullanan bir yazılımdır. Ekipler bunları Salesforce Agentforce, Microsoft Copilot Studio, HubSpot’un Breeze ajanları, OpenAI’ın Agents SDK’sı, LangGraph veya n8n’in AI Agent düğümü gibi platformlarla oluştururlar. Ajan kendi adımlarını kendisi belirlediği için, onu sabit bir otomasyondan ölçmek daha zordur.
Birçok pilot proje, bir demodan elde edilen izlenimlere göre değerlendirilir. Bu, bütçe incelemesinde nadiren hayatta kalır. Aşağıdaki yapı, finans ve pazarlama departmanlarına tartışmaları için aynı sayıları sağlar.
Standart otomasyon metrikleri neden yeterli değil?
Sabit bir iş akışı ya çalışır ya da başarısız olur. Bir ajan çalışabilir, makul görünen bir yol izleyebilir ve yine de yanlış sonuç üretebilir: yanlış kişiyle toplantı ayarlayabilir, bir aramayı yanlış özetleyebilir veya bir müşteriye güncel olmayan bir politikayla yanıt verebilir. “Tamamlanan işler” bunları başarı olarak sayar.
Ajanlar ayrıca çabalarını da değiştirirler. Bir görev iki araç çağrısı gerektirebilir, diğeri ise yirmi, bu nedenle görev başına maliyet büyük ölçüde değişebilir. Sadece toplam harcamayı gösteren bir gösterge paneli, hangi görevlerin pahalı olduğunu gizler.
Gösterge panelinde hangi KPI’lar yer almalı?
Metrikleri dört katmana ayırın. Her biri farklı bir soruya yanıt verir.
Katman 1: Görev kalitesi
- Görev başarı oranı: tanımlanmış bir standarda göre değerlendirilen, doğru tamamlanmış görevlerin payı.
- Test setinde doğruluk: her istem veya model değişikliğinden sonra yeniden çalıştırılan sabit bir örnek görev seti.
- Hata türleri: yanlış veri, yanlış eylem, eksik görev, politika ihlali.
Görev başarısı bir yargıç gerektirir. Bir destek ajanı için bu, “müşterinin bileti yedi gün içinde yeniden açmaması” olabilir. Bir potansiyel müşteri araştırma ajanı için bu, bir satış temsilcisi tarafından derecelendirilen haftalık bir örnek olabilir.
Katman 2: İnsan katılımı
- Eskalasyon oranı: bir kişiye devredilen görevlerin payı.
- Geçersiz kılma oranı: bir gözden geçirenin değiştirdiği veya tersine çevirdiği ajan eylemlerinin payı.
- Görev başına inceleme süresi: bir kişinin kontrol etmeye harcadığı dakika.
Düşen bir eskalasyon oranı, yalnızca görev başarısı sabit kaldığında iyidir. İkisi de düşerse, ajan daha çok tahmin ediyor ve daha az soruyor demektir.
Katman 3: Verimlilik ve maliyet
- Tamamlanan görev başına maliyet: model tokenları artı araç ve platform ücretleri, başarılı görevlere bölünür.
- Tamamlanma süresi: tetikleyiciden bitmiş sonuca kadar.
- Görev başına adım: ajanın döngüye girdiği görevleri tespit etmek için araç çağrıları veya model turları.
Katman 4: İş sonucu
- Ajanın hareket geçmesi için oluşturulduğu metrik, örneğin haftalık nitelikli potansiyel müşteriler, ilk yanıt süresi, çözülen biletler veya yayınlanan sayfalar.
- Bir karşılaştırma grubu: mümkün olduğunda aynı dönemde, ajan olmadan yapılan aynı iş.
Adil bir temel çizgi nasıl oluşturulur?
Lansmandan önce iki ila dört hafta boyunca mevcut süreci ölçün. Hacmi, görev başına süreyi, hata oranını ve maliyeti kaydedin. Bu olmadan, sonraki her sayı bağlamdan yoksundur.
Pilot sırasında, yapabiliyorsanız işi bölün. Gelen sohbet konuşmalarının yarısını ajana, yarısını mevcut akışa yönlendirin veya ajanın bir bölgeyi veya bir ürün grubunu yönetmesine izin verin. Bölünmüş bir karşılaştırma, mevsimsellik ve kampanyalarla karışan öncesi-sonrası sayılarından çok daha ikna edicidir.
Gösterge paneli nasıl görünmeli?
Tek bir ekranda tutun. Çoğu ekip için çalışan bir düzen, yukarıdaki katmanlarla eşleşen dört satıra sahiptir; her birinde mevcut hafta, önceki hafta ve temel çizgi bulunur. Looker Studio, Power BI veya basit bir tablo iş görür; veriler genellikle ajan platformunun günlüklerinden ve CRM veya yardım masasından gelir.
- Üst satır: temel çizgiye karşı iş sonucu.
- İkinci satır: görev başarısı ve hata türleri.
- Üçüncü satır: eskalasyon, geçersiz kılma ve inceleme süresi.
- Alt satır: tamamlanan görev başına maliyet ve görev başına adım.
Gösterge panelinden bağlantılı beş gerçek transkriptten oluşan haftalık bir örnek ekleyin. Sayılar trendleri açıklar; transkriptler nedenleri açıklar.
Alien Road, AI ajanı ölçümünü nasıl uygular?
Tipik bir çalışmada ölçüm, ajan oluşturulmadan önce tasarlanır. Keşif aşaması, görevi tek bir cümlede, başarı standardını ve hareket geçirmesi gereken iş metriğini tanımlar. Ayrıca örnekleri kimin derecelendireceği konusunda müşteriyle anlaşıyoruz, çünkü derecelendirme en sık atlanan adımdır.
Kurulum, ajan günlüklerini raporlama yığınına bağlar. n8n’de veya OpenAI Agents SDK ile oluşturulan ajanlar için her çalışma, görev kimliği, adımlar, tokenlar, sonuç ve eskalasyon bayrağı ile bir satır yazar. CRM platformlarındaki ajanlar için platformun kendi etkinlik verilerini dışa aktarıyoruz. Bu satır, Looker Studio’da CRM veya yardım masası sonuçlarıyla birleştirilir.
Aylık raporlar, ajanı temel grupla karşılaştırır, tamamlanan görev başına maliyet trendini gösterir ve hem iyi hem de kötü çalışmaların transkriptlerini içerir. Bir ajan iki ay boyunca hedefini tutturamadığında, rapor daha fazla istem eklemek yerine kapsamını daraltmayı veya onu emekli etmeyi önerir.
Hangi hatalar ajan metriklerini yanıltıcı hale getirir?
En yaygın olanı, sadece biten çalışmaları derecelendirmektir. Ajanın terk ettiği veya zaman aşımına uğrayan görevler başarısızlık olarak sayılmalıdır, aksi takdirde ajan daha sık pes ettiğinde başarı oranı daha iyi görünür.
İkinci bir hata, istemi, modeli ve görev kapsamını aynı hafta içinde değiştirmektir. Sayılar hareket ettiğinde, kimse nedenini söyleyemez. Her seferinde bir şeyi değiştirin ve her değişiklikten sonra sabit test setini yeniden çalıştırın.
Üçüncüsü, para yerine token raporlamaktır. Token sayıları bir finans ekibi için az şey ifade eder; bunları sağlayıcının mevcut fiyatını kullanarak tamamlanan görev başına maliyete dönüştürün ve raporda bu fiyatın tarihini not edin.
Bu hafta nereden başlamalı?
Ajanınız için tek cümlelik görev tanımını ve başarı standardını yazın, zaten çalışıyor olsa bile. Ardından geçen ayın günlüklerini çekin ve sadece iki sayıyı hesaplayın: yirmi çalışmadan oluşan bir örnekte görev başarısı ve tamamlanan görev başına maliyet.
Bu iki sayı genellikle konuşmayı değiştirir. Başarı yüksek ve maliyet düşükse, tam gösterge panelini oluşturun. Değilse, başka bir şeyi ölçmeden önce neyi düzeltmeniz gerektiğini bilirsiniz.
Okumaya devam edin: AI Pazarlama Ajansı · AI Pazarlama