Bir AI ajanı uygulaması, ajanın dar bir işi, sınırlı araç erişimi, yazılı bir değerlendirme seti, riskli eylemler için insan onayı ve canlı izlemesi olduğunda pilottan üretime geçer. Başarısız projelerin çoğu bunlardan birini atlar. Bu kontrol listesi, bir pazarlama ekibinin bir ajanı güvenli bir şekilde test edebilmesi ve kanıta dayalı olarak her gün çalışıp çalışmaması gerektiğine karar verebilmesi için her aşamayı adım adım açıklar.
Buradaki ajan, adımları planlayabilen ve araçları çağırabilen bir dil modeli anlamına gelir: web’de arama yapmak, bir elektronik tabloyu okumak, bir CRM’i sorgulamak, bir e-posta taslağı hazırlamak veya bir kampanyayı güncellemek. Platformlar arasında OpenAI’ın Agents SDK’sı, araç kullanımıyla Anthropic’in Claude’u ve Claude Agent SDK, Google’ın Vertex AI Agent Builder’ı, Microsoft Copilot Studio, Salesforce Agentforce ve LangGraph ve CrewAI gibi açık çerçeveler bulunur. Kontrol listesi bunların hepsine uygulanır.
Aşama: Görev bir ajan için uygun mu?
Ajanlar, birkaç adımı, çeşitli girdileri ve net bir tamamlanma tanımı olan görevler için uygundur. Normal bir otomasyonun daha ucuza hallettiği tek bir sabit yolu olan veya bir hatanın ciddi zarara yol açtığı herhangi bir iş için uygun değildirler.
- Görev en az haftalık olarak tekrarlanıyor ve bir kişinin gerçek zamanını alıyor
- Girdiler, sabit kuralların sık sık bozulacağı kadar değişiyor
- İyi bir çıktı yazılı olarak tanımlanabilir ve kontrol edilebilir
- Hatalar geri döndürülebilir veya müşterilere ulaşmadan önce yakalanıyor
- Ajanın ihtiyaç duyduğu veriler bir API veya dışa aktarma yoluyla erişilebilir
İyi pazarlama adayları arasında haftalık rakip reklam incelemeleri, kampanya raporlarının ilk taslakları, satış aramalarından önce potansiyel müşteri araştırması ve gelen destek mesajlarını etiketleme yer alır. Kötü adaylar arasında ise inceleme yapılmadan canlı reklam bütçelerini değiştirmek veya basın sorularını yanıtlamak yer alır.
2. Aşama: Kapsam ve erişim
Ajan için, yeni bir işe alım için yaptığınız gibi bir paragraflık bir iş tanımı yazın. Ardından, çağırabileceği her aracı ve okuyabileceği veya yazabileceği her sistemi listeleyin.
- Önce sadece okuma erişimi verin; yazma erişimini her seferinde bir araç olacak şekilde ekleyin
- Kendi kimlik bilgileri olan bir hizmet hesabı kullanın, asla bir kişinin giriş bilgilerini kullanmayın
- Çağrı başına maliyeti olan herhangi bir API’de harcama sınırları belirleyin
- Verileri işin gerektirdiğiyle sınırlayın; mümkünse kişisel verileri maskeleyin
- Ajanın hangi modeli ve sürümü kullandığını kaydedin
Prompt injection bu aşamada dikkat gerektirir. Web sayfalarını veya e-postaları okuyan bir ajan, ona talimat vermek için yazılmış metinlerle karşılaşabilir. Yazma eylemlerini onay arkasında tutun ve ajanın okuduğu içeriğin izinlerini değiştirmesine izin vermeyin.
Aşama: Bir ajanı piyasaya sürmeden önce nasıl değerlendirirsiniz?
Ajani oluşturmadan önce bir değerlendirme seti oluşturun. Yetenekli bir kişinin ürettiği çıktıyla 30 ila 100 gerçek geçmiş örnek toplayın. Bu, ajanın geçmesi gereken testtir ve ekibin birkaç etkileyici demo üzerinden yargıda bulunmasını engeller.
- Doğruluk: çıktı, gerçekler ve sayılar açısından referansla eşleşiyor mu?
- Tamlık: her adımı yaptı mı, yoksa sessizce birini atladı mı?
- Biçim: sonraki aşamadaki insanların güvendiği şablonu takip ediyor mu?
- Araç kullanımı: doğru araçları mantıklı bir sırayla çağırdı mı?
- Manuel işleme kıyasla çalışma başına maliyet ve süre
Çıktıları derecelendirmek için bir model kullansanız bile bir örneği elle puanlayın. Otomatik derecelendirme hacim için yararlıdır, ancak derecelendirme modelinin kör noktalarını miras alır.
4. Aşama: Pilot
Ajani, işi normalde yapan kişiyle birlikte iki ila dört hafta boyunca çalıştırın. Kişi işi yapmaya devam eder; ajanın çıktısı karşılaştırılır, kullanılmaz. Bu gölge modu, herhangi bir risk olmadan hata modellerini gösterir.
Kişinin yaptığı her düzeltmenin bir günlüğünü tutun. Bunları haftalık olarak gruplandırın. Tekrarlanan düzeltmeler eksik bir talimata, eksik verilere veya ajanın yapmaması gereken bir göreve işaret eder. Bu günlük olmadan biten bir pilot, kanıtsız biter.
Alien Road AI ajanlarını nasıl uyguluyor
Tipik bir çalışmada iş akışı denetimiyle başlarız: pazarlama ekibiyle bir hafta oturur ve görevleri harcanan süreye ve hata maliyetine göre listeleriz. Bir veya iki görev ajan pilotu olur; geri kalanı genellikle basit bir otomasyona veya daha iyi bir şablona ihtiyaç duyar.
Kurulum, verilerin ve günlüklerin onlarda kalması için müşterinin kendi bulut veya platform hesabında gerçekleşir. Değerlendirme setini bugün işi yapan insanlarla birlikte yazarız, gölge pilotu çalıştırırız ve doğruluk, düzeltmeler ve tasarruf edilen süre hakkında haftalık rapor veririz. Örneğin, bir raporlama ajanı aylık ücretli medya özetini dışa aktarımlardan taslak olarak hazırlayabilir ve bir hesap yöneticisi müşteriye ulaşmadan önce onu gözden geçirip düzenler. Rakamlar üretimi haklı çıkarmıyorsa, bunu söyler ve dururuz.
5. Aşama: Üretim kontrol listesi
- Ajanın çıktısından sorumlu atanmış sahip
- Müşteriler için görünür olan veya para harcayan herhangi bir eylemde insan onayı
- Saklama kurallarıyla birlikte girdilerin, araç çağrılarının ve çıktıların günlüğü
- Hatalar, olağandışı maliyet veya olağandışı çıktı uzunluğu için uyarılar
- Herhangi bir ekip üyesinin kullanabileceği bir durdurma düğmesi
- Değerlendirme setinin aylık yeniden çalıştırılması ve her model değişikliğinden sonra
- Yeni bir ekip üyesinin takip edebileceği belgeler
Model güncellemeleri özel bir notu hak eder. Sağlayıcılar modelleri düzenli olarak iyileştirir ve yeni bir sürüm görevinizdeki davranışı değiştirebilir. Platformun izin verdiği yerde sürümü sabitleyin ve geçiş yapmadan önce yeniden test edin.
Bir ajanı çalıştırmanın maliyeti nedir?
Maliyet üç bölümden oluşur: model kullanımı, platform ücretleri ve insanlar. Model kullanımı çoğu sağlayıcı tarafından token başına faturalandırılır ve ajanlar planlama yaptıkları, araçları çağırdıkları ve sonuçları bir döngüde okudukları için tek bir sohbetten daha fazla token kullanırlar. Uzun belgeleri okuyan bir çalışma, kısa bir formu okuyandan çok daha pahalıya mal olabilir.
- Pilot sırasında, lansmandan sonra değil, çalışma başına tokenları ve maliyeti ölçün
- Sınıflandırma gibi basit alt adımlar için daha küçük, daha ucuz bir model kullanın
- Sağlayıcının prompt önbelleğe almayı desteklediği yerlerde tekrarlanan bağlamı önbelleğe alın
- Bir döngünün kontrolden çıkmaması için çalışma başına adım sayısını sınırlayın
- İnceleme süresini sayın; bir saat tasarruf eden ancak kırk dakika kontrol gerektiren bir ajan yirmi dakika tasarruf eder
İnsan maliyeti ekiplerin unuttuğu şeydir. Birisi değerlendirme setine sahip olmalı, günlükleri okumalı ve iş değiştiğinde talimatları güncellemelidir. Bunun için en başından itibaren ayda birkaç saat bütçe ayırın.
Bu hafta nereden başlamalı
Pazarlama ekibinizdeki en tekrarlayan beş görevi listeleyin ve her birini sıklık, zaman ve hata maliyetine göre puanlayın. En yüksek süreye ve en düşük riske sahip olanı seçin. Ardından, o görevin otuz geçmiş örneğini bitmiş çıktıyla birlikte toplayın. Bu örnekler elinizdeyken, herhangi bir ajan platformunu bir öğleden sonra adil bir şekilde test edebilirsiniz.
Okumaya devam edin: AI Pazarlama Ajansı · AI Pazarlaması