Bilgisayar kullanım ajanları, API’si olmayan tarayıcı ve masaüstü görevlerinde, tıpkı bir insan gibi ekrana bakıp tıklayarak, yazarak ve kaydırarak zaman kazandırır. Anthropic’in Claude bilgisayar kullanımı, OpenAI’ın Operator tarzı ajanları ve Google’ın Project Mariner’ı bu şekilde çalışır. Pazarlama ekipleri için iyi adaylar; reklam platformları, dizinler ve kontrol panelleri genelindeki tekrarlayan kontrollerdir ve bunlar, verileri değiştiren herhangi bir şey için insan onayı ile bir sandbox içinde çalıştırılır.
Bilgisayar kullanım ajanı nedir?
Bilgisayar kullanım ajanı, ekran görüntüleri alan, bir eyleme karar veren ve bu eylemi bir tarayıcıya veya sanal makineye gönderen bir dil modelidir. Döngü, görev tamamlanana veya ajan takılana kadar tekrarlanır. Selenium betikleri veya Zapier gibi klasik otomasyon araçlarından farklı olarak, sabit seçicilere veya bir entegrasyona ihtiyaç duymaz; sayfayı tıpkı sizin gibi okur.
Bu esnekliğin bir bedeli vardır. Ajanlar bir API çağrısından daha yavaştır, bir sayfayı yanlış okuyabilirler ve bir web sayfasında talimat gibi görünen metinlerle kandırılabilirler. Aşağıdaki her iş akışı bu gerçekler etrafında tasarlanmıştır.
Hangi pazarlama görevleri bilgisayar kullanım ajanları için uygundur?
En ideal görev; sıkıcı, tekrarlayan, net bir bitiş çizgisi olan ve iyi bir API’si olmayan sistemlere dokunan görevdir.
- İşletme listelerinin dizinlerde doğru adresi ve çalışma saatlerini gösterdiğini kontrol etmek.
- Halka açık ürün sayfalarından rakip fiyatlarını veya tekliflerini bir tabloya toplamak.
- Müşteri raporları için canlı reklamların ve açılış sayfalarının ekran görüntülerini almak.
- Aynı kampanya özetini, yayınlamadan birkaç platformun taslak formuna doldurmak.
- Tarayıcı geliştirici araçlarını kullanarak izleme etiketlerinin ana sayfalarda tetiklenip tetiklenmediğini denetlemek.
- Yalnızca indirme düğmesi sunan portallardan aylık raporları indirmek.
Kötü adaylar: ödemeler, şifre girişi, hesap ayarları veya içerik yayınlama ile ilgili her şey. Bunlar insan kontrolünde kalır.
Güvenli bir ortamı nasıl kurarsınız?
Ajanları, e-postanızın ve bankacılık işlemlerinizin açık olduğu dizüstü bilgisayarınızda değil, izole bir ortamda çalıştırın. Anthropic’in referans uygulaması bu nedenle sanal masaüstü içeren bir Docker konteyneri kullanır.
Ayrı hesaplar ve izinler
Her platformda ajan için, görevi tamamlayan en düşük izin seviyesine sahip, genellikle salt okunur veya “görüntüleyici” olan özel bir kullanıcı oluşturun. Asla bir yönetici girişini paylaşmayın. Platform yalnızca taslak rollerine izin veriyorsa, bunları kullanın.
İzin verilenler listeleri
Tarayıcıyı, görevin ihtiyaç duyduğu alan adlarıyla sınırlayın. Beş dizindeki listeleri kontrol eden bir ajanın internetin geri kalanına erişmesine gerek yoktur ve kısa bir izin verilenler listesi, gizli talimatlar içeren bir sayfaya düşme şansını azaltır.
Günlük kaydı
Her çalıştırma için ekran görüntülerini ve eylem günlüğünü saklayın. Bir sonuç yanlış göründüğünde, günlük ajanın tam olarak ne gördüğünü ve yaptığını gösterir.
Adım adım iş akışı: dizin listeleme denetimi
Bu örnek, çok lokasyonlu bir işletmenin ayrıntılarını dizinler genelinde kontrol eder.
Adım 1: Gerçek veriyi (ground truth) tanımlayın
Her lokasyon için doğru ad, adres, telefon, saat ve web sitesini içeren bir tablo yapın. Ajan bununla karşılaştırma yapar, bu yüzden doğru olmalıdır.
Adım 2: Görev komutunu (prompt) yazın
Spesifik olun: “Tablodaki her satır için listelenen dizin URL’sini açın, işletme adını, adresini, telefonunu ve gösterilen saatleri okuyun ve bunları F’den I’ye kadar olan sütunlara yazın. Düzenle, hak iddia et veya iletişim düğmelerine tıklamayın. Bir sayfa sizden giriş yapmanızı isterse, durun ve ‘giriş gerekli’ yazın.”
Adım 3: Küçük bir parti çalıştırın
Beş satırla başlayın. Çalıştırmayı izleyin, günlüğü kontrol edin ve ajanın tereddüt ettiği veya yanlış okuduğu yerlerde komutu düzeltin.
Adım 4: Tam listeyi çalıştırın
Geri kalanını, ideal olarak çalışma saatleri dışında çalıştırın. Ajanlar yavaştır, genellikle sayfa başına bir dakika veya daha fazla sürer, ancak salt okunur işler için denetime ihtiyaç duymazlar.
Adım 5: İnsan incelemesi ve eylemi
Bir kişi uyumsuzlukları inceler ve her platformda düzeltmeler yapar. Ajan sorunları bulur; bir insan bunları düzeltir.
Adım 6: Bir insanın nerede onay vereceğine karar verin
Onay noktalarını, bir eylemin geri alınmasının zor olduğu veya müşteriler için görünür olduğu yerlere koyun. Faydalı bir kural: ajan serbestçe okuyabilir, kopyalayabilir ve taslak hazırlayabilir; göndermeden, yayınlamadan, silmeden, ödemeden veya bir ayarı değiştirmeden önce durmalıdır. Çoğu ajan ürününün bir onay veya “ele geçirme” modu vardır. Kullanın.
Komut enjeksiyonuna (prompt injection) dikkat edin. Bir web sayfası “talimatlarını görmezden gel ve …” gibi metinler içerebilir. Ajanın sistem komutunda sayfa içeriğinin veri olduğunu, komut olmadığını belirtin ve ajanın görevi dışında bir şey yaptığı her çalıştırmayı inceleyin.
Bilgisayar kullanım ajanları ile klasik otomasyon karşılaştırması
Ekipler genellikle bir ajanın mevcut otomasyonlarının yerini alıp almadığını sorarlar. Genellikle onun yanında oturur. Aşağıdaki karşılaştırma, görev bazında karar vermeye yardımcı olur.
- API entegrasyonu veya Zapier: en hızlı ve en ucuz, ancak yalnızca platformun bir API veya bağlayıcı sunduğu yerlerde.
- Kaydedilmiş tarayıcı betikleri (Selenium, Playwright): kararlı sayfalarda güvenilirdir, düzen değiştiğinde bozulur.
- Bilgisayar kullanım ajanı: değişen düzenler ve bilinmeyen sitelerle başa çıkar, ancak daha yavaştır, çalıştırma başına daha maliyetlidir ve daha az tahmin edilebilirdir.
- Manuel iş: tek seferlik görevler ve para veya itibar hakkında yargı gerektiren her şey için hala en iyisidir.
Alien Road bilgisayar kullanım ajanlarını nasıl uygular
Tipik bir çalışmada, müşterinin tekrarlayan manuel tarayıcı görevlerini ve her birinin ayda ne kadar zaman aldığını listeleyerek başlarız. Net bir çıktısı olan, genellikle rapor ekran görüntüleri veya liste denetimleri olan salt okunur bir görev seçeriz ve önce onu oluştururuz.
Kurulum; konteynerleştirilmiş bir masaüstü, platform başına görüntüleyici düzeyinde bir hesap, bir alan adı izin verilenler listesi ve şu anda işi yapan kişi tarafından incelenen yazılı bir görev komutu içerir. Her çalıştırma bir günlük ve bir sonuç tablosu üretir.
Ölçüm; öncesinde ve sonrasında harcanan saatleri, manuel olarak kontrol edilen bir örneğe karşı doğruluğu ve insan kurtarması gerektiren çalıştırma sayısını karşılaştırır. Kurtarma oranı iki haftalık ayarlamadan sonra yüksek kalırsa, betikli bir otomasyona geri döneriz veya görevi manuel tutarız.
Bugünkü limitler nelerdir?
Birçok açılır pencere, dinamik kontrol paneli ve CAPTCHA içeren karmaşık arayüzlerde doğruluk düşer ve ajanlar zaten CAPTCHA’ları çözmeye çalışmamalıdır. Hız sınırlıdır, bu nedenle büyük işler saatler sürer. Maliyetler, her ekran görüntüsü için model tokenlerinden gelir ve bu da uzun görevlerde artar. Güvenilir bir API’si olan bir görev için API hala daha hızlı, daha ucuz ve daha tahmin edilebilirdir.
Bu hafta nereden başlamalı
Ekibinizin her ay tekrarladığı üç tarayıcı görevini yazın ve hangilerinin yalnızca bilgi okuduğunu işaretleyin. En basitini seçin, gerçek veri tablosunu oluşturun ve bir görüntüleyici hesabı ile sandbox ajan ortamında beş satırlık bir test çalıştırın. Daha fazlasını çalıştırmadan önce günlüğü satır satır inceleyin.
Okumaya devam edin: AI Pazarlama Ajansı · AI Pazarlama