Kompüter-istifadə agentləri proqram təminatını insan kimi idarə edən, ekranı oxuyan, kursoru hərəkət etdirən, klikləyən və yazan AI sistemləridir. Onların dəyəri tapşırıq uğur dərəcəsi, insan müdaxiləsi dərəcəsi, tapşırıq başına qənaət edilən vaxt, tamamlanmış tapşırıq başına xərc və təhlükəsizlik insidentlərində özünü göstərir. Hər beş göstəricini əl ilə yerinə yetirilən proseslə müqayisə edin, çünki tapşırıqları yavaş yerinə yetirən və tez-tez kömək tələb edən agent qənaət etdiyindən daha baha başa gələ bilər.
Nümunələrə Anthropic-in Claude üçün kompüter istifadəsi imkanı, OpenAI-ın ChatGPT-dəki agent funksiyaları, Google-un Gemini kompüter istifadəsi modeli və Browser Use və ya Playwright kimi çərçivələr üzərində qurulmuş, dil modeli tərəfindən idarə olunan brauzer agentləri daxildir. Onlar API-nin mövcud olmadığı hallarda faydalıdır: köhnə idarəetmə panelləri, satıcı portalları, veb formalar və bir neçə alət üzrə çoxmərhələli tapşırıqlar. Yazılma zamanı onlar hələ də API inteqrasiyalarından daha yavaş və daha az etibarlıdır, bu da ölçməni daha vacib edir.
Kompüter-istifadə agentləri marketinq işində harada uyğun gəlir?
Əksər marketinq komandalarının alətlərdə yaxşı API-lərin olmaması və ya tapşırığın bir neçə sistemi əhatə etməsi səbəbindən heç vaxt avtomatlaşdırılmamış təkrarlanan ekran işləri var.
- Rahat ixrac təklif etməyən reklam platformalarından və ya bazarlardan hesabatların çıxarılması.
- Rəqib səhifələrinin, qiymətlərin və ya reklam kitabxanalarının cədvəl üzrə yoxlanılması.
- Bir çox saytda kataloq siyahılarının və istinad profillərinin doldurulması.
- Açılış səhifələrində keyfiyyət yoxlamaları: formalar, keçidlər, izləmə etiketləri və mobil tərtibat.
- Bazar satıcı portallarında məhsul məlumatlarının yenilənməsi.
- Müştəri hesabatı üçün canlı kampaniyaların ekran görüntülərinin toplanması.
Bunların hər birinin aydın əl ilə yerinə yetirilən bazis xətti var ki, bu da dəyərin ölçülməsini sadələşdirir.
Hansı KPI-lar dəyəri sübut edir?
Etibarlılıq göstəriciləri
- Tapşırıq uğur dərəcəsi: insan köməyi olmadan düzgün tamamlanmış tapşırıqlar, cəhd edilmiş tapşırıqlara bölünür. “Düzgün” anlayışını tapşırıq növünə görə müəyyən edin.
- Qismən uğur dərəcəsi: insanın düzəltdiyi kiçik səhvlərlə tamamlanmış tapşırıqlar.
- İnsan müdaxiləsi dərəcəsi: insanın daxil olmalı, təsdiqləməli və ya nəzarəti ələ almalı olduğu icra payı.
- Uğursuzluq rejimləri: giriş divarları, tərtibat dəyişiklikləri, pop-uplar, CAPTCHA-lar və ya yanlış oxunan elementlər kimi uğursuzluq səbəblərinin kateqoriyalaşdırılması.
Effektivlik göstəriciləri
- Agent üçün tapşırıq başına vaxt, əl ilə yerinə yetirilən bazis xətti ilə müqayisədə.
- Tapşırıq başına insan dəqiqələri, quraşdırma, nəzarət və yoxlama daxil olmaqla.
- Tamamlanmış tapşırıq başına xərc: model istifadəsi, infrastruktur və insan vaxtı birlikdə.
- Məhsuldarlıq: gündə tamamlanan tapşırıqlar.
Təhlükəsizlik və keyfiyyət göstəriciləri
- İstənməyən hərəkətlər: agentin tapşırıq dairəsindən kənarda etdiyi kliklər və ya təqdimatlar.
- Məlumatların ifşası insidentləri: həssas məlumatların daxil edildiyi və ya göstərilməməli olduğu yerdə göstərildiyi hər hansı hal.
- İnsan tərəfindən yoxlanılan nümunə üzrə çıxış dəqiqliyi.
Niyə müdaxilə dərəcəsi əsas rəqəmdir?
Hər icra üçün nəzarət tələb edən agent çox qənaət etmir. Tapşırıq başına insan dəqiqələri bunu dürüst şəkildə əks etdirir. Əgər bir şəxs tapşırığı əl ilə yerinə yetirməyə on dəqiqə, agentə nəzarət etməyə isə səkkiz dəqiqə sərf edirsə, agentin uğur dərəcəsindən asılı olmayaraq qazanc azdır.
Müdaxilələri səbəbinə görə izləyin. Bəziləri dizayn üzrədir, məsələn, formanı təqdim etməzdən əvvəl təsdiqlər, bu, geri dönməz olan hər şey üçün yaxşı təcrübədir. Digərləri isə daha yaxşı təlimatların və ya mühit quraşdırılmasının düzəldə biləcəyi zəiflikləri üzə çıxarır, məsələn, kukie bannerlərini əvvəlcədən bağlamaq və ya birbaşa URL-lər təqdim etmək.
İdarəetmə paneli necə təşkil edilməlidir?
Üç görünüş auditoriyanı əhatə edir.
- Biznes görünüşü: bu ay tamamlanmış tapşırıqlar, bazis xətti ilə müqayisədə qənaət edilmiş insan saatları, tamamlanmış tapşırıq başına xərc və zamanla trend.
- Əməliyyat görünüşü: tapşırıq növünə görə uğur, qismən və uğursuzluq dərəcələri, müdaxilə səbəbləri və ən yavaş tapşırıqlar.
- Risk görünüşü: istənməyən hərəkətlər, məlumat insidentləri, tələb olunan və rədd edilən təsdiqlər.
Məlumatlar agentin icra jurnallarından gəlir: başlanğıc və bitmə vaxtı, atılan addımlar, ekran görüntüləri, müdaxilələr və nəticə. Jurnalları icra ID-si ilə verilənlər bazasında və ya cədvəldə saxlayın, sonra Looker Studio, Power BI və ya sadə bir notebook-a qoşun. Uğursuz icralar üçün ekran görüntülərini saxlayın; onlar uğursuzluqları istənilən jurnal xəttindən daha sürətli izah edir.
Ölçməzdən əvvəl hansı qoruyucu tədbirlər görülməlidir?
Agent təhlükəsiz işləmirsə, ölçmə mənasızdır. Bunları əvvəlcə təyin edin:
- Agentləri yalnız tapşırığın ehtiyac duyduğu girişə malik təcrid olunmuş brauzer profilində və ya virtual maşında işlədin.
- Məhdud icazələri olan xüsusi hesablardan istifadə edin, heç vaxt administratorun şəxsi girişindən istifadə etməyin.
- Satınalmalar, mesaj göndərmə, dərc etmə, silmə və ya şəxsi məlumatları olan formaları təqdim etməzdən əvvəl insan təsdiqini tələb edin.
- Səhifə məzmununa etibarsız kimi yanaşın: veb saytlarda tapılan təlimatlar tapşırığı üstələməməlidir.
- Hər bir hərəkətin audit jurnalını saxlayın.
Ümumi ölçmə səhvləri
- Həqiqi tapşırıq qarışığı əvəzinə asan demo tapşırıqlarında uğur dərəcəsini bildirmək.
- İnsanların təlimat yazmağa və nəticələri yoxlamağa sərf etdiyi vaxtı nəzərə almamaq.
- Bir dəfə ölçmək və nəticələrin qaldığını güman etmək; veb sayt tərtibatı dəyişiklikləri agentləri xəbərdarlıq etmədən pozur.
- Agent vaxtını vaxtlı bazis xətti əvəzinə şişirdilmiş əl ilə qiymətləndirmə ilə müqayisə etmək.
Ədalətli əl ilə bazis xəttini necə qurursunuz?
Bazis xətləri çox vaxt təxmin edilir və təxminlər adətən agent üçün səxavətli olur. Əl ilə tapşırığı saniyəölçənlə, onu adətən yerinə yetirən şəxs tərəfindən üç-beş dəfə ölçün. İnsanların unutduğu kiçik addımları daxil edin: daxil olmaq, düzgün tarix aralığını tapmaq, ixrac faylının adını dəyişmək, nəticələri hesabata yapışdırmaq.
Əl ilə prosesin səhv dərəcəsini də qeyd edin. İnsanlar təkrarlanan ekran işlərində səhvlər edirlər və bir qədər aşağı uğur dərəcəsi olan agent, ardıcıl olduqda ümumilikdə daha az səhv yarada bilər. Agent səhvlərini xəyali mükəmməl insanla müqayisə etmək, agent sürətini xəyali yavaş insanla müqayisə etmək qədər yanıltıcıdır.
Bazis xəttini rübdə bir dəfə təkrarlayın. İşçilər zaman keçdikcə tapşırıqda daha sürətli olurlar və alətlər interfeyslərini dəyişdirir, buna görə də bir illik bazis xətti artıq real alternativi təsvir etmir.
Alien Road kompüter-istifadə agentlərini necə tətbiq edir
Tipik bir əməkdaşlıqda, kəşf mərhələsi müştərinin marketinq əməliyyatları üzrə təkrarlanan ekran tapşırıqlarını siyahıya alır və hər birinin əl ilə nə qədər vaxt apardığını ölçür. Biz yaxşı API-nin olmadığı, addımların sabit olduğu və səhvlərin geri qaytarıla biləcəyi tapşırıqları seçirik, məsələn, hesabatların toplanması və ya açılış səhifələrinin yoxlanılması.
Quraşdırma agenti məhdud hesabları, yazılı tapşırıq təlimatları və hər hansı geri dönməz hərəkətdən əvvəl təsdiq addımları olan təcrid olunmuş mühitdə işlədir. Hər bir icra nəticə, müdaxilə səbəbləri və uğursuzluqların ekran görüntüləri ilə qeyd olunur.
Ölçmə, tapşırıq başına insan dəqiqələrini əvvəl və sonra, uğur və müdaxilə dərəcələrini və tamamlanmış tapşırıq başına xərci müqayisə edir. Aylıq hesabat hansı tapşırıqların daimi yer qazandığını, hansıların əl ilə işə və ya API inteqrasiyasına qaytarıldığını və hansı uğursuzluqların düzəldildiyini göstərir.
Bu həftə haradan başlamaq lazımdır
Komandanızın həftəlik təkrarladığı bir ekran tapşırığını seçin və onu əl ilə üç dəfə ölçün. Tapşırığı gözlənilən nəticə ilə addım-addım təlimat kimi yazın, onu sandbox brauzerdə kompüter-istifadə agenti ilə beş dəfə işlədin və uğuru, müdaxilələri və cəmi insan dəqiqələrini qeyd edin. Onu daha da avtomatlaşdırmaq barədə qərar verməzdən əvvəl rəqəmləri müqayisə edin.
Oxumağa davam edin: AI Marketinq Agentliyi · AI Marketinq