Bilgisayar kullanım ajanları, ekranı okuyarak, imleci hareket ettirerek, tıklayarak ve yazarak yazılımları bir insan gibi kullanan yapay zeka sistemleridir. Değerleri; görev başarı oranı, insan müdahale oranı, görev başına tasarruf edilen zaman, tamamlanan görev başına maliyet ve güvenlik olaylarında ortaya çıkar. Her beş metriği de manuel süreçle karşılaştırın, çünkü görevleri yavaş bitiren ve sık yardım gerektiren bir ajan, tasarruf ettiğinden daha fazlasına mal olabilir.
Örnekler arasında Anthropic’in Claude için bilgisayar kullanım yeteneği, OpenAI’ın ChatGPT’deki ajan özellikleri, Google’ın Gemini bilgisayar kullanım modeli ve Browser Use veya Playwright gibi çerçeveler üzerinde bir dil modelinin kontrolünde oluşturulan tarayıcı ajanları yer alır. API’nin bulunmadığı durumlarda kullanışlıdırlar: eski gösterge panelleri, satıcı portalları, web formları ve birkaç araç üzerindeki çok adımlı görevler. Yazıldığı sırada, API entegrasyonlarından hala daha yavaş ve daha az güvenilirdirler, bu da ölçümü daha önemli hale getirir.
Bilgisayar kullanım ajanları pazarlama işine nerede uyum sağlar?
Çoğu pazarlama ekibi, araçların iyi API’lere sahip olmaması veya görevin birkaç sistemi kapsaması nedeniyle hiçbir zaman otomatikleştirilmemiş tekrarlayan ekran işlerine sahiptir.
- Uygun dışa aktarma sunmayan reklam platformlarından veya pazar yerlerinden rapor çekmek.
- Rakip sayfalarını, fiyatlarını veya reklam kütüphanelerini bir takvime göre kontrol etmek.
- Birçok sitede dizin listelerini ve alıntı profillerini doldurmak.
- Açılış sayfalarında kalite kontrolleri: formlar, bağlantılar, izleme etiketleri ve mobil düzen.
- Pazar yeri satıcı portallarında ürün bilgilerini güncellemek.
- Müşteri raporlaması için canlı kampanyaların ekran görüntülerini toplamak.
Bunların her birinin net bir manuel temel çizgisi vardır, bu da değer ölçmeyi kolaylaştırır.
Hangi KPI’lar değeri kanıtlar?
Güvenilirlik metrikleri
- Görev başarı oranı: insan yardımı olmadan doğru şekilde tamamlanan görevler, denenen görevlere bölünür. “Doğru” tanımını görev türüne göre yapın.
- Kısmi başarı oranı: bir kişinin düzelttiği küçük hatalarla tamamlanan görevler.
- İnsan müdahale oranı: bir kişinin müdahale etmesi, onaylaması veya devralması gereken çalışma payı.
- Hata modları: giriş duvarları, düzen değişiklikleri, pop-up’lar, CAPTCHA’lar veya yanlış okunan öğeler gibi hata nedenlerinin kategorize edilmesi.
Verimlilik metrikleri
- Ajan için görev başına süre, manuel temel çizgisine kıyasla.
- Kurulum, denetim ve kontrol dahil olmak üzere görev başına insan dakikası.
- Tamamlanan görev başına maliyet: model kullanımı, altyapı ve insan zamanı birleştirilmiş.
- Verim: günde tamamlanan görevler.
Güvenlik ve kalite metrikleri
- İstenmeyen eylemler: ajanın görev kapsamı dışında yaptığı tıklamalar veya gönderimler.
- Veri ifşa olayları: hassas verilerin girildiği veya olmaması gereken yerde gösterildiği her durum.
- Bir kişi tarafından kontrol edilen örneklemde çıktı doğruluğu.
Müdahale oranı neden anahtar sayıdır?
Her çalıştırma için denetim gerektiren bir ajan çok fazla tasarruf etmiyordur. Görev başına insan dakikası bunu dürüstçe yakalar. Bir kişi bir görevi manuel olarak yapmak için on dakika harcıyor ve ajanı denetlemek için sekiz dakika harcıyorsa, ajanın başarı oranından bağımsız olarak kazanç azdır.
Müdahaleleri nedenine göre takip edin. Bazıları tasarımdan kaynaklıdır, örneğin bir form göndermeden önceki onaylar, bu geri döndürülemez her şey için iyi bir uygulamadır. Diğerleri, daha iyi talimatların veya ortam kurulumunun düzeltebileceği zayıflıkları ortaya çıkarır, örneğin çerez banner’larını önceden kapatmak veya doğrudan URL’ler sağlamak.
Gösterge paneli nasıl düzenlenmelidir?
Üç görünüm kitleleri kapsar.
- İş görünümü: bu ay tamamlanan görevler, temel çizgisine göre tasarruf edilen insan saatleri, tamamlanan görev başına maliyet ve zaman içindeki trend.
- Operasyon görünümü: görev türüne göre başarı, kısmi ve hata oranları, müdahale nedenleri ve en yavaş görevler.
- Risk görünümü: istenmeyen eylemler, veri olayları, talep edilen onaylar ve reddedilen onaylar.
Veriler ajan çalıştırma günlüklerinden gelir: başlangıç ve bitiş zamanı, atılan adımlar, ekran görüntüleri, müdahaleler ve sonuç. Günlükleri bir çalıştırma kimliği ile bir veritabanında veya elektronik tabloda saklayın, ardından Looker Studio, Power BI veya basit bir not defterine bağlayın. Başarısız çalıştırmalar için ekran görüntülerini saklayın; hataları herhangi bir günlük satırından daha hızlı açıklarlar.
Ölçümden önce hangi koruyucu önlemler alınmalıdır?
Ajan güvenli çalışmıyorsa ölçüm anlamsızdır. Bunları önce ayarlayın:
- Ajanları, yalnızca görevin ihtiyaç duyduğu erişime sahip yalıtılmış bir tarayıcı profilinde veya sanal makinede çalıştırın.
- Sınırlı izinlere sahip özel hesaplar kullanın, asla bir yöneticinin kişisel girişini kullanmayın.
- Satın almalar, mesaj gönderme, yayınlama, silme veya kişisel veriler içeren formları göndermeden önce insan onayı isteyin.
- Sayfa içeriğine güvenilmez olarak davranın: web sitelerinde bulunan talimatlar görevi geçersiz kılmamalıdır.
- Her eylemin denetim günlüğünü tutun.
Yaygın ölçüm hataları
- Gerçek görev karışımı yerine kolay demo görevlerinde başarı oranını raporlamak.
- İnsanların talimat yazmak ve sonuçları kontrol etmek için harcadığı zamanı görmezden gelmek.
- Bir kez ölçmek ve sonuçların kalıcı olduğunu varsaymak; web sitesi düzen değişiklikleri ajanları uyarı olmadan bozar.
- Ajan süresini zamanlanmış bir temel çizgisi yerine şişirilmiş bir manuel tahminle karşılaştırmak.
Adil bir manuel temel çizgisi nasıl oluşturulur?
Temel çizgileri genellikle tahmin edilir ve tahminler genellikle ajana karşı cömerttir. Manuel görevi bir kronometre ile, onu normalde yapan kişi tarafından üç ila beş kez zamanlayın. İnsanların unuttuğu küçük adımları dahil edin: giriş yapmak, doğru tarih aralığını bulmak, dışa aktarma dosyasını yeniden adlandırmak, sonuçları rapora yapıştırmak.
Manuel sürecin hata oranını da kaydedin. İnsanlar tekrarlayan ekran işlerinde hata yaparlar ve biraz daha düşük başarı oranına sahip bir ajan, tutarlıysa genel olarak daha az hata üretebilir. Ajan hatalarını hayali mükemmel bir insanla karşılaştırmak, ajan hızını hayali yavaş bir insanla karşılaştırmak kadar yanıltıcıdır.
Temel çizgisini çeyrekte bir tekrarlayın. Personel zamanla bir görevde daha hızlı hale gelir ve araçlar arayüzlerini değiştirir, bu nedenle bir yıllık bir temel çizgisi artık gerçek alternatifi tanımlamaz.
Alien Road bilgisayar kullanım ajanlarını nasıl uygular
Tipik bir çalışmada, keşif aşaması müşterinin pazarlama operasyonlarındaki tekrarlayan ekran görevlerini listeler ve her birinin manuel olarak ne kadar sürdüğünü ölçer. İyi bir API’nin olmadığı, adımların kararlı olduğu ve hataların geri döndürülebilir olduğu, rapor toplama veya açılış sayfalarını kontrol etme gibi görevleri seçeriz.
Kurulum, ajanı sınırlı hesaplar, yazılı görev talimatları ve herhangi bir geri döndürülemez eylemden önce onay adımları ile yalıtılmış bir ortamda çalıştırır. Her çalıştırma sonuç, müdahale nedenleri ve hata ekran görüntüleri ile günlüğe kaydedilir.
Ölçüm, görev başına insan dakikasını öncesi ve sonrası, başarı ve müdahale oranlarını ve tamamlanan görev başına maliyeti karşılaştırır. Aylık raporlama, hangi görevlerin kalıcı bir yer kazandığını, hangilerinin manuel çalışmaya veya API entegrasyonuna geri döndürüldüğünü ve hangi hataların düzeltildiğini gösterir.
Bu hafta nereden başlamalı
Ekibinizin haftalık olarak tekrarladığı bir ekran görevini seçin ve manuel olarak üç kez zamanlayın. Görevi beklenen sonuçla adım adım talimatlar olarak yazın, bir sandbox tarayıcısında bir bilgisayar kullanım ajanı ile beş kez çalıştırın ve başarıyı, müdahaleleri ve toplam insan dakikasını kaydedin. Daha fazla otomatikleştirip otomatikleştirmeyeceğinize karar vermeden önce sayıları karşılaştırın.
Okumaya devam edin: Yapay Zeka Pazarlama Ajansı · Yapay Zeka Pazarlaması