Prompt mühendisliği, farklı promptların çıktılarını sabit bir test girdisi setiyle karşılaştırarak ve bunları kalite, maliyet ve düzeltme için gereken insan süresi üzerinden puanlayarak ölçülür. Bu değerlendirme seti olmadan ekipler, promptları tek bir iyi veya kötü örneğe dayanarak değiştirir ve değişikliğin ortalamada yardımcı olup olmadığını veya durumu daha da kötüleştirip kötüleştirmediğini söyleyemezler.
Pazarlama ekipleri artık reklam metni, ürün açıklamaları, meta açıklamaları, e-posta varyantları ve rapor özetleri için promptlar çalıştırıyor. Her bir prompt küçük bir yazılımdır. Aynı disiplini hak eder: versiyonlar, testler ve bir kontrol paneli.
Prompt işini ölçmek neden bu kadar zor?
Dil modelleri pratikte deterministik değildir. Aynı prompt, özellikle daha yüksek sıcaklık ayarlarında, Pazartesi günü güçlü, Salı günü ise zayıf bir cevap verebilir. Tek bir karşılaştırma size neredeyse hiçbir şey söylemez.
Pazarlama çıktısının da tek bir doğru cevabı yoktur. İki başlık da iyi olabilir. Bu, ekipleri “yeni prompt daha iyi hissettiriyor” gibi kimsenin sonradan denetleyemeyeceği muğlak yargılara iter.
Önce bir değerlendirme seti oluşturun
Değerlendirme seti, gerçek işi temsil eden sabit bir girdi listesidir. Bir ürün açıklaması promptu için bu, kategoriler genelinde 50 ürün, eksik özellikleri olan zorlu olanlar dahil, olabilir. Bir reklam metni promptu için bu, farklı kitlelere ve karakter sınırlarına sahip 30 brief olabilir.
- Kolay, tipik ve zor durumları yaklaşık gerçekçi oranlarda dahil edin
- Her durum için iyi bir çıktının neleri içermesi gerektiğini yazın (gerçekler, uzunluk, ton)
- Sonuçların karşılaştırılabilir kalması için seti bir çeyrek boyunca dondurulmuş tutun
- Bir üretim hatası bir boşluk gösterdiğinde yeni durumlar ekleyin ve nedenini kaydedin
Seti bir elektronik tabloda veya Promptfoo, LangSmith veya Braintrust gibi bir araçta saklayın. Araç, her prompt versiyonunu aynı girdilere karşı çalıştırma alışkanlığından daha az önemlidir.
Bir prompt kontrol paneli hangi KPI’ları göstermelidir?
Metrikleri üç seviyede gruplayın: çıktı kalitesi, operasyonel maliyet ve iş etkisi. İlk ikisini aynı gün ölçebilirsiniz. Üçüncüsü haftalar sürer.
Çıktı kalitesi
- Sıkı kurallarda geçme oranı: karakter sınırları, gerekli anahtar kelimeler, yasaklı iddialar, doğru dil
- Doğruluk, netlik ve marka uyumu için insan değerlendiricilerden 1’den 5’e kadar ölçekte rubrik puanı
- İkinci bir modelin çıktıları rubriğe karşı kontrol ettiği ve insan puanlarına göre kalibre edildiği model tarafından verilen puan
- Faktik hata oranı: girdi tarafından desteklenmeyen bir iddia içeren çıktıların payı
Operasyonel maliyet
- Çağrı başına değil, kabul edilen çıktı başına token ve API maliyeti
- Düzenleme süresi: bir kişinin bir çıktıyı yayınlanmadan önce düzeltmek için harcadığı dakika
- Reddetme oranı: tamamen atılan çıktılar
- Gecikme, eğer prompt canlı bir araç içinde çalışıyorsa
Düzenleme süresi genellikle en dürüst rakamdır. Düzeltilmesi için her biri on dakika süren ucuz çıktılar üreten bir prompt, çıktıları bir dakika gerektiren daha uzun bir prompttan daha pahalıdır.
İş etkisi
Çıktılar canlıya geçtiğinde, onları hareket ettirmeleri gereken platform metrikleriyle ilişkilendirin: reklam metni için tıklama oranı (CTR), meta açıklamaları için Search Console’da organik CTR, ürün sayfaları için dönüşüm oranı. Mümkün olduğunda Google Ads deneyleri veya e-posta platformunuzdaki split testler gibi uygun testler kullanın, çünkü mevsimsellik küçük farkları gizler.
İki prompt versiyonunu nasıl adil bir şekilde karşılaştırırsınız?
Her iki versiyonu da tam değerlendirme setinde, sıcaklık sıfırın üzerindeyse her birini birkaç kez çalıştırın. Ortalamaları ve yayılımı karşılaştırın. Ortalama olarak biraz daha yüksek puan alan ancak ara sıra felaketler üreten bir prompt, üretim için daha kötü olabilir.
Her seferinde bir şeyi değiştirin. Talimatları yeniden yazarsanız, örnekler eklerseniz ve modelleri tek seferde değiştirirseniz, hangi değişikliğin önemli olduğunu bilemezsiniz. Her versiyonu kısa bir notla kaydedin: ne değişti ve neden.
Basit bir kontrol paneli düzeni
Looker Studio veya Google Sheets kontrol paneli genellikle yeterlidir. Her prompt versiyonu için bir satır; değerlendirme tarihi, model, geçme oranı, ortalama rubrik puanı, kabul edilen çıktı başına maliyet, medyan düzenleme süresi ve mevcut olduğunda canlı performans metriği için sütunlar. Versiyonlar boyunca düzenleme süresinin bir grafiğini ekleyin; işin karşılığını verip vermediğini gösterir.
Hatalar için ikinci bir sekme tutun: girdi ve nedeni ile birlikte yanlış olan gerçek üretim çıktıları. Bunlar yeni değerlendirme vakaları haline gelir ve prompt iyileştirmelerinin en iyi kaynağıdır.
Alien Road prompt mühendisliği ölçümünü nasıl uygular
Tipik bir çalışmada ekibimiz, bir müşterinin pazarlama ekibinin zaten kullandığı, genellikle kişisel ChatGPT sohbetlerine ve paylaşılan belgelere dağılmış her bir promptu listeleyerek başlar. Yayınlanmış içerik üretenleri versiyon kontrolüne taşırız ve ölçüm için en yüksek hacimli üçünü seçeriz.
Her biri için müşterinin geçmiş işinden bir değerlendirme seti oluştururuz, içeriği onaylayan kişilerle rubrik üzerinde anlaşırız ve mevcut promptu temel çizgi olarak ölçeriz. Değişiklikler, üretimde herhangi bir şeyi değiştirmeden önce o temel çizgiye karşı test edilir.
Raporlama aylık ve kısadır: hangi prompt versiyonları değişti, düzenleme süresine ve maliyete ne yaptı ve canlı metrikler ne gösterdi. Bir değişiklik rakamları iyileştirmediğinde, bunu söyler ve geri alırız.
Bir pazarlama ekibinde promptların sahibi kim olmalıdır?
Yayınlanmış içerik üreten promptlar, şablonlar veya marka kılavuzları gibi bir sahibe ihtiyaç duyar. Daha küçük ekiplerde bu genellikle içerik lideridir. Daha büyük ekiplerde ise bir pazarlama operasyonları kişisi, versiyonları, her biri için değerlendirme sonuçları ve hangi modelle test edildiğine dair notları olan bir prompt kütüphanesi tutar.
Model güncellemeleri bunun önemli olmasının nedenidir. Bir sağlayıcı yeni bir model yayınladığında veya bir varsayılanı değiştirdiğinde, çalışan promptlar farklı davranabilir. Değerlendirme seti olan bir sahip, onu bir saat içinde yeniden çalıştırabilir ve bir şeyin kırılıp kırılmadığını, müşteri şikayetleri yoluyla keşfetmek yerine bilebilir.
Rakamları anlamsız kılan hatalar
- Promptu yazmak için kullanılan aynı beş örnek üzerinde test etmek
- Bir modelin çıktıları, puanlarını insan değerlendiricilere karşı kontrol etmeden puanlamasına izin vermek
- API maliyetini kabul edilen çıktı başına değil, çağrı başına saymak
- Değerlendirme setini her hafta değiştirmek, bu da karşılaştırmaları bozar
Bu hafta nereden başlamalı
Ekibinizin en sık çalıştırdığı bir promptu seçin. 30 gerçek girdi çekin, her biri için iyi bir çıktının tek satırlık tanımını yazın ve bir kişinin mevcut çıktıları düzenlemek için ne kadar zaman harcadığını ölçün. O tek temel çizgi rakamı, çıktı başına düzenleme dakikaları, gelecekteki her prompt değişikliğine geçmek için somut bir şey verir.
Okumaya devam edin: Yapay Zekâ Pazarlama Ajansı · AI Marketing