Meta AI və Llama modellərinin çəkiləri yükləmək üçün pulsuz olsa da, onların üç yerdə xərci var: onları işlətmək üçün hesablama gücü, onları yerləşdirmək və saxlamaq üçün mühəndislik vaxtı və çıxış keyfiyyətini məqbul səviyyədə saxlamaq üçün lazım olan yoxlama işi. ROI, ödənişli API zənglərini və ya kütləvi əl işini əvəz etməkdən gəlir, buna görə də büdcə yalnız modelin ayda neçə tapşırığı yerinə yetirəcəyini bildikdə məntiqli olur.
Meta, Llama-nı standart açıq mənbə lisenziyası əvəzinə öz icma lisenziyası ilə buraxır. Çəkilər yüklənə və öz aparatınızda və ya AWS Bedrock, Azure, Google Vertex AI, Groq, Together AI və digərləri kimi bulud provayderləri vasitəsilə işlədilə bilər. WhatsApp, Instagram, Messenger və Facebook daxilindəki köməkçi olan Meta AI, bu modellər üzərində qurulmuş istehlakçı məhsuludur; bu, birbaşa büdcə ayırdığınız bir şey deyil, lakin auditoriyanızın brendlər haqqında suallar vermək üçün ondan istifadə etməsi səbəbindən vacibdir.
Bu məqalə biznes qərarına diqqət yetirir: Llama-nı özünüz və ya host vasitəsilə işlətmək nə vaxt qapalı API-dən daha ucuz və daha yaxşıdır və bunu necə sübut etmək olar.
Llama-nı işlətmək əslində nə qədər başa gəlir?
İstifadənin iki geniş yolu var və xərc strukturu tamamilə fərqlidir.
Host edilmiş nəticə çıxarma (Inference)
Bedrock, Together AI, Fireworks və ya Groq kimi provayderlər modeli işlədir və hər hansı bir API kimi milyon giriş və çıxış tokeni üçün ödəniş alırlar. Qiymətlər model ölçüsünə və provayderə görə dəyişir və tez-tez dəyişir, buna görə planlaşdırma zamanı cari qiymət cədvəllərini yoxlayın. Kiçik Llama variantları adətən böyük sərhəd modellərindən token başına daha ucuzdur, bu da marketoloqların onlara baxmasının əsas səbəbidir.
Öz-özünə hostinq
Burada tokenlər əvəzinə GPU-lar üçün ödəniş edirsiniz. Kiçik bir model tək bir müasir GPU-da işləyə bilər; daha böyük variantlar bir neçə yüksək yaddaşlı GPU və ya kvantlaşdırılmış versiyalar tələb edir. Hesab modelin məşğul və ya boş olmasından asılı olmayaraq saatlıqdır, buna görə də istifadə dərəcəsi öz-özünə hostinqin ucuz və ya bahalı olduğunu müəyyən edir. Gündə qırx sorğuya cavab verən bir server demək olar ki, həmişə host edilmiş API-dən daha pis dəyərə malikdir.
Öz-özünə hostinq həm də gizli xətlər əlavə edir: vLLM və ya Ollama kimi xidmət proqramlarını qurmaq üçün bir mühəndis, monitorinq, təhlükəsizlik yamaları və cavab verməyi dayandırdıqda zəng edəcək biri.
Komandalar hansı xərcləri unudurlar?
- Prompt və qiymətləndirmə işi: test dəstlərinin qurulması və nəticələrin müqayisəsi saatlarla deyil, günlərlə vaxt aparır.
- İnsan yoxlaması: hər bir məhsul təsviri bir redaktor tərəfindən oxunursa, redaktorun vaxtı çox vaxt hesablama gücündən daha çox olur.
- İncə tənzimləmə (Fine-tuning): brend mətni üzərində LoRA adapterini öyrətmək əlverişlidir, lakin təmiz təlim məlumatlarını hazırlamaq bahalı hissədir.
- Lisenziya yoxlamaları: Meta-nın lisenziyasının məqbul istifadə siyasəti və çox böyük şirkətlər üçün bir həddi var. Hüquq şöbəsi onu bir dəfə oxumalıdır.
- Keçid xərci: bir model üçün tənzimlənmiş promptlar nadir hallarda digərinə mükəmməl keçir.
Marketinq istifadəsi üçün ROI-ni necə hesablayırsınız?
ROI-ni təkrarlanan, yüksək həcmli tapşırıqlarda ölçmək ən asandır. Beş min məhsul şəkli üçün alt mətn yazmaq, dəstək mesajlarını təsnif etmək, meta təsvirlər hazırlamaq, reklam variantlarını tərcümə etmək və ya rəyləri mövzuya görə etiketləmək hamısının aydın vahidi və aydın cari xərci var.
Hesablamanın dörd hissəsi var.
- Vahid başına baza xərci: tapşırığın bu gün frilans haqları, işçi saatları və ya API xərcləri ilə nə qədər başa gəldiyi.
- Vahid başına yeni xərc: vahid başına tokenlər və ya GPU vaxtı, üstəgəl vahid başına yoxlama vaxtı.
- Keyfiyyət dərəcəsi: nümunə üzərində ölçülən, redaktəsiz qəbul edilən nəticələrin payı.
- Həcm: ayda vahidlər, bu sizə quraşdırma kimi sabit xərclərin geri qaytarılıb-qaytarılmadığını bildirir.
Məsələn, bir mağazanın frilans işçiyə hər məhsul təsviri üçün ödəniş etdiyini və rübdə iki min yeni məhsulu olduğunu fərz edək. Əgər host edilmiş Llama modeli hər təsviri bir sentin bir hissəsinə hazırlayırsa və redaktor onu düzəltmək üçün hər maddəyə iki dəqiqə sərf edirsə, qənaət frilans haqqı minus token xərci minus redaktor vaxtıdır. Əgər qəbul dərəcəsi aşağıdırsa və redaktorlar hər maddəyə on dəqiqə sərf edirsə, qənaət yox ola bilər. Buna görə də keyfiyyət dərəcəsi düstura aiddir.
Qapalı model nə vaxt daha yaxşı sövdələşmədir?
Llama avtomatik olaraq daha ucuz seçim deyil. Aşağı həcmlər üçün, quraşdırma işi olmayan qapalı API ümumilikdə daha ucuzdur. Mürəkkəb mühakimə, uzun sənədlər və ya keyfiyyət fərqlərinin müştərilər üçün görünən olduğu tapşırıqlar üçün daha böyük qapalı model daha az yenidən yazma yarada bilər və daha az yenidən yazma daha yüksək token qiymətindən üstün ola bilər.
Llama həcm yüksək olduqda, tapşırıq dar olduqda, məlumatlar öz bulud hesabınızda qalmalı olduqda və ya incə tənzimləmə edib nəticədə yaranan modeli saxlamaq istədikdə qalib gəlir. Qarışıq yanaşma geniş yayılmışdır: təsnifat və hazırlıq üçün kiçik Llama modeli, yalnız buna ehtiyacı olan tapşırıqlar üçün daha böyük model.
Alien Road Meta AI və Llama modellərini necə tətbiq edir
Tipik bir işdə ilk çatdırılacaq məhsul model seçimi deyil, həcmləri olan tapşırıq siyahısıdır. Biz təkrarlanan məzmun və məlumat tapşırıqlarını sadalayırıq, hər birinin nə qədər tez-tez baş verdiyini sayırıq və hər birinin bu gün nə qədər başa gəldiyini qiymətləndiririk. Aşağı həcmli və ya yüksək riskli tapşırıqlar siyahıdan erkən çıxarılır.
Qalan tapşırıqlar üçün qısa bir sınaq keçiririk. Eyni əlli giriş eyni promptdan istifadə edərək host edilmiş Llama modelinə və bir və ya iki qapalı modelə göndərilir. Redaktor nəticələri dəqiqlik, ton və lazım olan redaktələr üzrə kor qiymətləndirir. Bu, müştərinin öz materialı üzərində ölçülən ROI düsturunun ehtiyac duyduğu keyfiyyət dərəcəsini verir.
Llama qalib gələrsə, yerləşdirmə adətən müştərinin mövcud buludunda host edilmiş provayderlə başlayır, çünki bu, GPU idarəçiliyindən qaçır. Öz-özünə hostinq yalnız həcmlər sabit və yüksək olduqda nəzərdən keçirilir. Aylıq hesabatlar emal edilmiş vahidləri, vahid başına xərci, qəbul dərəcəsini və qənaət edilmiş redaktor dəqiqələrini, müştərinin keyfiyyəti birbaşa qiymətləndirə bilməsi üçün nəticələrin nümunəsi ilə birlikdə göstərir.
Biz həmçinin insanların WhatsApp və ya Instagram-da Meta AI-dən brend haqqında soruşduqda brendin necə göründüyünü izləyirik. Bu, xərcdən daha çox görünürlük məsələsidir, lakin eyni söhbətin bir hissəsidir.
Bu həftə haradan başlamaq lazımdır
Artıq ödəniş etdiyiniz, ayda ən azı bir neçə yüz vahidi olan bir tapşırıq seçin. Onun vahid başına cari xərcini yazın. Sonra provayderin pulsuz və ya sınaq kreditləri ilə host edilmiş Llama modelində əlli real nümunəni işlədin və redaktora onları qiymətləndirin.
Ölçülmüş qəbul dərəcəsi və vahid başına real xərc ilə ROI düsturunu dürüst şəkildə doldura bilərsiniz. Əgər rəqəmlər həmin tapşırıq üçün işləmirsə, siz bunu öyrənmək üçün bir rüb deyil, bir neçə gün sərf etmisiniz.
Oxumağa davam edin: AI Marketinq Agentliyi · AI Marketinq