Prompt mühəndisliyi, müxtəlif promptların çıxışlarını sabit bir test girişi dəsti ilə müqayisə edərək və onları keyfiyyət, xərc və düzəliş üçün lazım olan insan vaxtı üzrə qiymətləndirməklə ölçülür. Bu qiymətləndirmə dəsti olmadan komandalar promptları bir yaxşı və ya pis nümunəyə əsasən dəyişdirir və dəyişikliyin orta hesabla kömək etdiyini və ya vəziyyəti daha da pisləşdirdiyini deyə bilmirlər.
Marketinq komandaları artıq reklam mətni, məhsul təsvirləri, meta təsvirlər, e-poçt variantları və hesabat xülasələri üçün promptlar işlədir. Hər bir prompt kiçik bir proqram təminatıdır. O, eyni intizama layiqdir: versiyalar, testlər və idarəetmə paneli.
Prompt işini ölçmək niyə bu qədər çətindir?
Dil modelləri praktikada deterministik deyil. Eyni prompt, xüsusilə daha yüksək temperatur parametrlərində, bazar ertəsi güclü, çərşənbə axşamı isə zəif cavab verə bilər. Tək bir müqayisə sizə demək olar ki, heç nə demir.
Marketinq çıxışının da tək bir düzgün cavabı yoxdur. İki başlıq da yaxşı ola bilər. Bu, komandaları “yeni prompt daha yaxşı hiss olunur” kimi qeyri-müəyyən mühakimələrə yönəldir ki, bunu da sonradan heç kim yoxlaya bilməz.
Əvvəlcə qiymətləndirmə dəsti qurun
Qiymətləndirmə dəsti real işi təmsil edən sabit girişlər siyahısıdır. Məhsul təsviri promptu üçün bu, kateqoriyalar üzrə 50 məhsul, o cümlədən çatışmayan atributları olan çətin məhsullar ola bilər. Reklam mətni promptu üçün bu, müxtəlif auditoriyalar və simvol limitləri olan 30 brif ola bilər.
- Asan, tipik və çətin halları təxminən real nisbətlərdə daxil edin
- Hər bir hal üçün yaxşı çıxışın nələri ehtiva etməli olduğunu yazın (faktlar, uzunluq, ton)
- Nəticələrin müqayisə edilə bilən qalması üçün dəsti bir rüb ərzində dondurulmuş saxlayın
- İstehsalat çatışmazlığı boşluğu göstərdikdə yeni hallar əlavə edin və səbəbini qeyd edin
Dəsti cədvəldə və ya Promptfoo, LangSmith və ya Braintrust kimi bir alətdə saxlayın. Alət, hər bir prompt versiyasını eyni girişlərə qarşı işlətmək vərdişindən daha az əhəmiyyətlidir.
Prompt idarəetmə paneli hansı KPI-ları göstərməlidir?
Metrikləri üç səviyyəyə qruplaşdırın: çıxış keyfiyyəti, əməliyyat xərcləri və biznes effekti. İlk ikisini eyni gün ölçə bilərsiniz. Üçüncüsü həftələr çəkir.
Çıxış keyfiyyəti
- Sərt qaydalar üzrə keçid dərəcəsi: simvol limitləri, tələb olunan açar sözlər, qadağan olunmuş iddialar, düzgün dil
- Dəqiqlik, aydınlıq və brendə uyğunluq üçün insan rəyçilər tərəfindən 1-dən 5-ə qədər şkala üzrə rubrika balı
- İkinci bir modelin çıxışları rubrikaya qarşı yoxladığı və insan ballarına uyğunlaşdırıldığı model tərəfindən qiymətləndirilən bal
- Faktiki səhv dərəcəsi: giriş tərəfindən dəstəklənməyən iddia ehtiva edən çıxışların payı
Əməliyyat xərcləri
- Zəng başına deyil, qəbul edilmiş çıxış başına tokenlər və API xərcləri
- Redaktə vaxtı: bir şəxsin çıxışı dərc edilməzdən əvvəl düzəltməyə sərf etdiyi dəqiqələr
- İmtina dərəcəsi: tamamilə atılan çıxışlar
- Gecikmə, əgər prompt canlı alət daxilində işləyirsə
Redaktə vaxtı çox vaxt ən dürüst rəqəmdir. Düzəldilməsi üçün hər biri on dəqiqə çəkən ucuz çıxışlar yaradan prompt, çıxışlarının bir dəqiqəyə ehtiyacı olan daha uzun bir promptdan daha bahalıdır.
Biznes effekti
Çıxışlar canlı yayımlandıqda, onları hərəkətə gətirməli olduqları platforma metrikləri ilə əlaqələndirin: reklam mətni üçün klikləmə dərəcəsi (CTR), meta təsvirlər üçün Search Console-da üzvi CTR, məhsul səhifələri üçün konversiya dərəcəsi. Mümkün olduqda Google Ads eksperimentləri və ya e-poçt platformanızda split testlər kimi düzgün testlərdən istifadə edin, çünki mövsümilik kiçik fərqləri gizlədir.
İki prompt versiyasını necə ədalətli müqayisə etmək olar?
Hər iki versiyanı tam qiymətləndirmə dəstində, temperatur sıfırdan yuxarıdırsa, hər birini bir neçə dəfə işlədin. Ortalamaları və yayılmanı müqayisə edin. Orta hesabla bir qədər yüksək bal toplayan, lakin bəzən fəlakətlər yaradan bir prompt istehsalat üçün daha pis ola bilər.
Hər dəfə bir şeyi dəyişdirin. Təlimatları yenidən yazsanız, nümunələr əlavə etsəniz və modelləri bir anda dəyişdirsəniz, hansı dəyişikliyin vacib olduğunu bilməyəcəksiniz. Hər versiyanı qısa bir qeydlə qeyd edin: nə dəyişdi və niyə.
Sadə idarəetmə paneli tərtibatı
Looker Studio və ya Google Sheets idarəetmə paneli adətən kifayətdir. Hər prompt versiyası üçün bir sətir; qiymətləndirmə tarixi, model, keçid dərəcəsi, orta rubrika balı, qəbul edilmiş çıxış başına xərc, orta redaktə vaxtı və mövcud olduqda canlı performans metriki üçün sütunlar. Versiyalar üzrə redaktə vaxtının diaqramını əlavə edin; bu, işin özünü doğruldub-doğrultmadığını göstərir.
Uğursuzluqlar üçün ikinci bir tab saxlayın: giriş və səbəbi ilə birlikdə səhv olan real istehsalat çıxışları. Bunlar yeni qiymətləndirmə hallarına çevrilir və prompt təkmilləşdirmələrinin ən yaxşı mənbəyidir.
Alien Road prompt mühəndisliyi ölçməsini necə tətbiq edir
Tipik bir əməkdaşlıqda komandamız müştərinin marketinq komandasının artıq istifadə etdiyi, çox vaxt şəxsi ChatGPT çatlarında və paylaşılan sənədlərdə səpələnmiş hər bir promptu siyahıya almaqla başlayır. Dərc edilmiş məzmun yaradanları versiya nəzarətinə keçiririk və ölçmə üçün ən yüksək həcmli üçünü seçirik.
Hər biri üçün müştərinin öz keçmiş işindən bir qiymətləndirmə dəsti qururuq, məzmunu təsdiqləyən insanlarla rubrika üzrə razılaşırıq və cari promptu baza xətti kimi ölçürük. Dəyişikliklər istehsalatda hər hansı bir şeyi əvəz etməzdən əvvəl həmin baza xəttinə qarşı sınaqdan keçirilir.
Hesabat aylıq və qısadır: hansı prompt versiyaları dəyişdi, bu redaktə vaxtına və xərcə nə etdi və canlı metriklər nə göstərdi. Dəyişiklik rəqəmləri yaxşılaşdırmadıqda, bunu deyirik və geri qaytarırıq.
Marketinq komandasında promptlara kim sahib olmalıdır?
Dərc edilmiş məzmun yaradan promptlar, şablonlar və ya brend qaydaları kimi bir sahibə ehtiyac duyur. Daha kiçik komandalarda bu, adətən məzmun rəhbəridir. Daha böyük komandalarda isə marketinq əməliyyatları üzrə bir şəxs versiyaları, hər biri üçün qiymətləndirmə nəticələri və hansı model ilə sınaqdan keçirildiyinə dair qeydləri olan bir prompt kitabxanasını saxlayır.
Model yeniləmələri bunun vacib olmasının səbəbidir. Provayder yeni bir model buraxdıqda və ya defoltu dəyişdikdə, işləyən promptlar fərqli davrana bilər. Qiymətləndirmə dəsti olan bir sahib onu bir saat ərzində yenidən işlədə bilər və müştəri şikayətləri vasitəsilə deyil, bir şeyin qırılıb-qırılmadığını bilə bilər.
Rəqəmləri mənasız edən səhvlər
- Promptu yazmaq üçün istifadə olunan eyni beş nümunə üzərində test etmək
- Modelin ballarını insan rəyçilərə qarşı yoxlamadan çıxışları qiymətləndirməsinə icazə vermək
- API xərcini qəbul edilmiş çıxış başına deyil, zəng başına hesablamaq
- Qiymətləndirmə dəstini hər həftə dəyişdirmək, bu da müqayisələri pozur
Bu həftə haradan başlamaq lazımdır
Komandanızın ən çox istifadə etdiyi bir promptu seçin. 30 real giriş çıxarın, hər biri üçün yaxşı çıxışın bir sətirlik tərifini yazın və bir şəxsin cari çıxışları redaktə etməyə nə qədər vaxt sərf etdiyini ölçün. Həmin tək baza xətti rəqəmi, çıxış başına redaktə dəqiqələri, gələcək hər bir prompt dəyişikliyinə üstün gəlmək üçün konkret bir şey verir.
Oxumağa davam edin: Süni intellekt marketinq agentliyi · AI Marketing