AI agentlərini ölçmək, hər bir tapşırığın düzgün tamamlanıb-tamamlanmadığını, bir insanın nə qədər tez-tez müdaxilə etməli olduğunu, hər tapşırığın nə qədər başa gəldiyini və hansı biznes nəticəsinə təsir etdiyini izləmək deməkdir. Faydalı bir idarəetmə paneli bu dörd təbəqəni yan-yana göstərir: tapşırıq uğur dərəcəsi, eskalasiya dərəcəsi, tamamlanmış tapşırıq başına xərc və keyfiyyətli potensial müştərilər, həll edilmiş biletlər və ya qənaət edilmiş saatlar kimi nəticə metriki, agent olmadan görülən eyni işlə müqayisədə.
AI agenti, məqsədə çatmaq üçün CRM, axtarış funksiyası və ya e-poçt sistemi kimi alətləri çağırmaq və addımları planlaşdırmaq üçün dil modelindən istifadə edən proqramdır. Komandalar onları Salesforce Agentforce, Microsoft Copilot Studio, HubSpot-un Breeze agentləri, OpenAI-ın Agents SDK, LangGraph və ya n8n-in AI Agent qovşağı kimi platformalarla qururlar. Agent öz addımlarını özü müəyyən etdiyi üçün, onu sabit avtomatlaşdırmadan ölçmək daha çətindir.
Bir çox pilot layihələr demo zamanı yaranan təəssüratlara görə qiymətləndirilir. Bu, büdcə icmalında nadir hallarda sağ qalır. Aşağıdakı struktur maliyyə və marketinq şöbələrinə mübahisə etmək üçün eyni rəqəmləri təqdim edir.
Niyə standart avtomatlaşdırma metrikaları kifayət deyil?
Sabit iş axını ya işləyir, ya da uğursuz olur. Agent işləyə, ağlabatan görünən bir yol tuta və yenə də yanlış nəticə verə bilər: yanlış əlaqə ilə görüş təyin edə, zəngi səhv xülasə edə və ya müştəriyə köhnəlmiş siyasətlə cavab verə bilər. “Tamamlanmış işlər” bunları uğur kimi sayır.
Agentlər həmçinin səylərini dəyişdirirlər. Bir tapşırıq iki alət çağırışı, digəri isə iyirmi tələb edə bilər, buna görə də tapşırıq başına xərc kəskin şəkildə dəyişə bilər. Yalnız ümumi xərcləri göstərən idarəetmə paneli hansı tapşırıqların bahalı olduğunu gizlədir.
İdarəetmə panelində hansı KPI-lar olmalıdır?
Metrikaları dörd təbəqəyə bölün. Hər biri fərqli bir suala cavab verir.
Təbəqə 1: Tapşırıq keyfiyyəti
- Tapşırıq uğur dərəcəsi: müəyyən edilmiş standarta qarşı qiymətləndirilən, düzgün tamamlanmış tapşırıqların payı.
- Test dəstində dəqiqlik: hər sorğu və ya model dəyişikliyindən sonra yenidən işə salınan sabit nümunə tapşırıqlar dəsti.
- Səhv növləri: yanlış məlumat, yanlış hərəkət, natamam tapşırıq, siyasət pozuntusu.
Tapşırıq uğuru bir hakim tələb edir. Dəstək agenti üçün bu, “müştərinin bileti yeddi gün ərzində yenidən açmaması” ola bilər. Potensial müştəri araşdırma agenti üçün bu, satış nümayəndəsi tərəfindən qiymətləndirilən həftəlik nümunə ola bilər.
Təbəqə 2: İnsan iştirakı
- Eskalasiya dərəcəsi: insana ötürülən tapşırıqların payı.
- Ləğvetmə dərəcəsi: rəyçinin dəyişdirdiyi və ya ləğv etdiyi agent hərəkətlərinin payı.
- Tapşırıq başına baxış vaxtı: insanın yoxlamaya sərf etdiyi dəqiqələr.
Azalan eskalasiya dərəcəsi yalnız tapşırıq uğuru sabit qaldıqda yaxşıdır. Hər ikisi azalırsa, agent daha çox təxmin edir və daha az soruşur.
Təbəqə 3: Səmərəlilik və xərc
- Tamamlanmış tapşırıq başına xərc: model tokenləri, üstəgəl alət və platforma haqları, uğurlu tapşırıqlara bölünür.
- Tamamlanma vaxtı: tətiklənmədən bitmiş nəticəyə qədər.
- Tapşırıq başına addımlar: agentin dövrəyə girdiyi tapşırıqları aşkar etmək üçün alət çağırışları və ya model növbələri.
Təbəqə 4: Biznes nəticəsi
- Agentin hərəkətə keçməsi üçün qurulduğu metrika, məsələn, həftəlik keyfiyyətli potensial müştərilər, ilk cavab müddəti, həll edilmiş biletlər və ya dərc edilmiş səhifələr.
- Müqayisə qrupu: mümkün olduqda eyni dövrdə, agent olmadan görülən eyni iş.
Ədalətli baza xəttini necə qurmaq olar?
İşə salınmazdan əvvəl iki-dörd həftə ərzində cari prosesi ölçün. Həcmi, tapşırıq başına vaxtı, səhv dərəcəsini və xərci qeyd edin. Bu olmadan, sonrakı hər bir rəqəm kontekstdən məhrumdur.
Pilot zamanı, bacarırsınızsa, işi bölün. Gələn söhbətlərin yarısını agentə, yarısını isə mövcud axına yönəldin və ya agentin bir bölgəni və ya bir məhsul xəttini idarə etməsinə icazə verin. Bölünmüş müqayisə, mövsümilik və kampaniyalarla qarışan əvvəl-sonra rəqəmlərindən daha inandırıcıdır.
İdarəetmə paneli necə görünməlidir?
Onu bir ekranda saxlayın. Əksər komandalar üçün işləyən bir tərtibat, yuxarıdakı təbəqələrə uyğun dörd sətirdən ibarətdir, hər birində cari həftə, əvvəlki həftə və baza xətti var. Looker Studio, Power BI və ya sadə bir cədvəl işləyir; məlumatlar adətən agent platformasının jurnallarından, üstəgəl CRM və ya yardım masasından gəlir.
- Üst sətir: baza xəttinə qarşı biznes nəticəsi.
- İkinci sətir: tapşırıq uğuru və səhv növləri.
- Üçüncü sətir: eskalasiya, ləğvetmə və baxış vaxtı.
- Alt sətir: tamamlanmış tapşırıq başına xərc və tapşırıq başına addımlar.
İdarəetmə panelindən əlaqələndirilmiş beş real transkriptin həftəlik nümunəsini əlavə edin. Rəqəmlər tendensiyaları izah edir; transkriptlər səbəbləri izah edir.
Alien Road AI agentinin ölçülməsini necə tətbiq edir
Tipik bir əməkdaşlıqda ölçmə agent qurulmazdan əvvəl dizayn edilir. Kəşfiyyat tapşırığı bir cümlə ilə, uğur standartını və hərəkətə keçməli olduğu biznes metrikasını müəyyən edir. Biz həmçinin müştəri ilə nümunələri kimin qiymətləndirəcəyi barədə razılaşırıq, çünki qiymətləndirmə ən çox ötürülən addımdır.
Quraşdırma agent jurnallarını hesabat yığınına birləşdirir. n8n-də və ya OpenAI Agents SDK ilə qurulmuş agentlər üçün hər bir işləmə tapşırıq ID-si, addımlar, tokenlər, nəticə və eskalasiya bayrağı ilə bir sətir yazır. CRM platformalarındakı agentlər üçün biz platformanın öz fəaliyyət məlumatlarını ixrac edirik. Həmin sətir Looker Studio-da CRM və ya yardım masası nəticələri ilə birləşdirilir.
Aylıq hesabatlar agenti baza qrupu ilə müqayisə edir, tamamlanmış tapşırıq başına xərc tendensiyasını göstərir və həm yaxşı, həm də pis işləmələrin transkriptlərini daxil edir. Agent iki ay ərzində hədəfini qaçırdıqda, hesabat daha çox sorğu əlavə etmək əvəzinə onun əhatə dairəsini daraltmağı və ya onu təqaüdə çıxarmağı tövsiyə edir.
Hansı səhvlər agent metrikalarını yanıltıcı edir?
Ən çox yayılmışı yalnız bitmiş işləri qiymətləndirməkdir. Agentin tərk etdiyi və ya vaxtı bitmiş tapşırıqlar uğursuzluq kimi sayılmalıdır, əks halda agent daha tez-tez təslim olduqda uğur dərəcəsi daha yaxşı görünür.
İkinci səhv, eyni həftədə sorğunu, modeli və tapşırıq əhatəsini dəyişdirməkdir. Rəqəmlər dəyişdikdə, heç kim niyə olduğunu deyə bilməz. Hər dəfə bir şeyi dəyişdirin və hər dəyişiklikdən sonra sabit test dəstini yenidən işə salın.
Üçüncüsü, pul əvəzinə tokenləri hesabat etməkdir. Token sayı maliyyə komandası üçün az məna kəsb edir; onları provayderin cari qiymətindən istifadə edərək tamamlanmış tapşırıq başına xərcə çevirin və hesabatda həmin qiymətin tarixini qeyd edin.
Bu həftə haradan başlamaq lazımdır
Agentiniz üçün bir cümləlik tapşırıq tərifini və uğur standartını yazın, hətta o artıq işləyirsə belə. Sonra keçən ayın jurnallarını çıxarın və yalnız iki rəqəmi hesablayın: iyirmi işləmə nümunəsində tapşırıq uğuru və tamamlanmış tapşırıq başına xərc.
Bu iki rəqəm adətən söhbəti dəyişir. Uğur yüksək və xərc aşağıdırsa, tam idarəetmə panelini qurun. Deyilsə, başqa bir şeyi ölçməzdən əvvəl nəyi düzəltməli olduğunuzu bilirsiniz.
Oxumağa davam edin: AI Marketinq Agentliyi · AI Marketinq