Claude’un değerini lisans başına değil, görev başına ölçerek kanıtlarsınız: öncesinde ve sonrasında harcanan zaman, çıktının ne kadar düzenlemeye ihtiyaç duyduğu, haftalık kaç kişinin kullandığı ve abonelik veya API aracılığıyla tamamlanan görev başına maliyet. Beş ila on tekrarlayan görev için bunları takip eden küçük bir panel, herhangi bir genel üretkenlik iddiasından daha net bir cevap verir.
Claude, Anthropic tarafından oluşturulan büyük dil modelleri ailesidir. Ekipler onu web, masaüstü ve mobil Claude uygulamaları aracılığıyla, yönetici kontrollerine sahip Team ve Enterprise planları aracılığıyla, API aracılığıyla ve onu entegre eden diğer araçların içinde kullanırlar. Uzun bağlam pencereleri, güçlü yazma ve kodlama yetenekleri ve paylaşılan bilgiler için Projeler, oluşturulan belgeler ve kod için Artefaktlar ve araç kullanımı gibi özellikleriyle bilinir. Model adları ve plan özellikleri düzenli olarak değişir, bu nedenle aşağıdaki ayrıntılar değişmeyen ölçüme odaklanır.
AI değerini kanıtlamak neden zordur?
AI kullanımının çoğu görünmezdir. Birisi bir e-postayı daha hızlı taslak haline getirir, bir belgeyi özetler veya bir plan hakkında ikinci bir görüş alır. Şirketin sistemlerinde hiçbir şey bunu kaydetmez, bu yüzden bütçe incelemesi geldiğinde tek kanıt insanların “yardımcı oluyor” demesidir.
Ayrıca bir ölçüm tuzağı da vardır. Çıktılar kötüyse, taslak hazırlarken tasarruf edilen zaman düzenleme sırasında kaybedilebilir. Sadece hızı ölçmek değeri abartır; sadece hataları ölçmek ise onu olduğundan az gösterir. İkisine de ihtiyacınız var.
Hangi KPI’lar gerçekten önemlidir?
Verimlilik
- Sabit bir tekrarlayan görev listesi için görev başına öncesinde ve sonrasında harcanan zaman.
- Düzenleme süresi: çıktı kullanılabilir hale gelene kadar düzeltmek için harcanan dakikalar.
- İş hacmi: haftalık tamamlanan brief’ler, raporlar veya reklam varyantları.
Kalite
- Kabul oranı: hafif düzenlemelerle veya düzenlemesiz kullanılan çıktıların payı.
- Hata oranı: inceleme sırasında her 10 çıktıda bulunan olgusal veya marka hataları.
- Yazılı bir standarda karşı basit bir üç puanlık ölçekte değerlendiricinin puanı.
Benimseme ve maliyet
- Lisanslı kullanıcıların payı olarak haftalık aktif kullanıcılar.
- Ölçülen görev listesi için kullanıcı başına haftalık görevler.
- Tamamlanan görev başına maliyet: görevlere bölünmüş abonelik maliyeti veya görev başına API token maliyeti.
İnsanları yavaşlatmadan verileri nasıl toplarsınız?
Günlüğü hafif tutun, yoksa insanlar bırakacaktır. Beş alanı olan paylaşılan bir form işe yarar: görev türü, harcanan zaman, düzenleme süresi, olduğu gibi kullanıldı veya düzenlendi veya reddedildi ve kısa bir not. Pilot gruptan her sohbeti değil, sadece ölçülen görevleri kaydetmelerini isteyin.
Önce bir temel çizgi toplayın. AI olmadan aynı görevleri iki hafta kaydetmek size karşılaştırma imkanı verir. Bir temel çizgi olmadan, her zaman rakamı bir tahmindir.
API kullanımı için veriler daha kolaydır. Anthropic’in API’si her yanıtla birlikte token sayılarını döndürür ve Konsol kullanımı ve harcamayı gösterir. Token sayılarını ve bir görev kimliğini kendi uygulamanızda kaydedin, böylece sadece toplam harcamayı değil, görev başına maliyeti hesaplayabilirsiniz.
Panel neyi göstermelidir?
Her kitle için bir sayfası olan bir Looker Studio, Power BI veya hatta Google Sheets paneli en iyi sonucu verir.
- Liderlik sayfası: ayda tasarruf edilen toplam saat, görev başına maliyet, benimseme oranı, trend çizgileri ile.
- Ekip lideri sayfası: görev türüne göre sonuçlar, böylece Claude’un nerede en çok yardımcı olduğunu ve nerede olmadığını görebilirsiniz.
- Kalite sayfası: kabul ve hata oranları, reddedilen çıktıların son örnekleriyle.
Ham rakamları ve varsayımları gösterin. Tasarruf edilen saatler parayı göstermek için saatlik bir ücretle çarpılıyorsa, ücreti belirtin. İnsanlar kontrol edebildikleri panellere güvenirler.
Hangi görevler genellikle en net kazanımları gösterir?
Uzun girdileri ve net bir çıktı standardı olan görevler genellikle değeri hızlı bir şekilde gösterir. Çağrı transkriptlerini özetlemek, araştırma notlarını bir brief’e dönüştürmek, raporların ilk versiyonlarını taslak haline getirmek, anket yanıtlarını analiz etmek ve metni bir stil kılavuzuna göre incelemek tipiktir.
Kısa yaratıcı görevler genellikle daha küçük zaman kazanımları gösterir çünkü iyi bir istem yazmak, satırı kendiniz yazmak kadar zaman alır. Yine de onları ölçün; veriler hangi görevlere odaklanılacağı konusundaki tartışmaları durdurur.
Ölçümü nasıl daha iyi sonuçlara dönüştürürsünüz?
Her iki haftada bir reddedilen çıktılara bakın. Çoğu ret, eksik bağlamdan kaynaklanır: model marka sesini, kitleyi veya ürün detaylarını bilmiyordu. Bunu düzeltmek, örneğin paylaşılan bir Claude Projesine bir stil kılavuzu ve ürün sayfası ekleyerek, genellikle kabul oranlarını model değiştirmekten daha fazla artırır.
İki tur istem ve bağlam değişikliğinden sonra iyileşmeyen görevleri emekli edin. Claude’un iyi çalıştığı daha kısa bir görev listesi, yarım sonuçlardan oluşan uzun bir listeden daha güçlü bir vakadır.
Claude’u diğer araçlarla nasıl adil bir şekilde karşılaştırırsınız?
Birçok ekip ayrıca ChatGPT, Gemini veya Copilot kullanır. Karşılaştırmak istiyorsanız, aynı görev listesini aynı girdiler ve aynı değerlendiricilerle çalıştırın ve inceleme sırasında hangi aracın hangi çıktıyı ürettiğini gizleyin.
Sonuçlar genellikle genel olarak değil, göreve göre farklılık gösterir. Bir model transkriptleri daha iyi özetleyebilirken diğeri belirli bir yazım tarzına uyabilir. Görev bazlı bir karşılaştırma, itibar üzerine tek bir kazanan seçmek yerine işe göre araç seçmenize olanak tanır.
Alien Road Claude’u nasıl uygular
Claude, kendi işimizde ve müşteri iş akışlarında kullandığımız modellerden biridir. Tipik bir etkileşimde, müşteri ekibiyle beş ila on tekrarlayan pazarlama görevi seçeriz, iki haftalık bir temel çizgi toplarız ve ardından marka yönergeleri, ürün bilgileri ve onaylanmış örneklerle paylaşılan Projeler kurarız.
Yukarıda açıklanan günlük formuyla dört ila altı haftalık bir pilot çalışma yürütürüz ve verimlilik, kalite ve maliyet sayfaları olan bir panel oluştururuz. Sonunda müşteri, kendi rakamlarına dayalı olarak görev bazlı bir öneri alır: tut, iyileştir veya bırak.
Bu hafta nereden başlamalı
Ekibinizin her hafta yaptığı ve bir sayfadan fazla okumayı veya yazmayı içeren beş görevi yazın. İki kişiden, çalışma şekillerini değiştirmeden önümüzdeki iki hafta boyunca her biri için harcanan zamanı kaydetmelerini isteyin.
Aynı zamanda, bu görevlerden biri için stil kılavuzunuz ve iyi çıktı örnekleri ile bir Claude Projesi kurun. Temel çizgi bittiğinde, farkı tahmin etmek yerine ölçmeye hazırsınız.
Kullanımı genişletmeyi neyin haklı çıkaracağı konusunda önceden anlaşın, örneğin beş görevden en az üçünde net bir zaman tasarrufu. Çıtayı erkenden belirlemek nihai kararı dürüst tutar.
Okumaya devam edin: AI Pazarlama Ajansı · AI Pazarlaması