On-Device AI hesabın haraya düşəcəyini dəyişir. Apple Intelligence və Gemini Nano ilə model istifadəçinin telefonunda və ya noutbukunda işləyir, buna görə də hər sorğu üçün bulud haqqı yoxdur, lakin xərclər mühəndislik vaxtına, cihaz əhatə dairəsi məhdudiyyətlərinə və daha dar model imkanlarına keçir. ROI, bulud modeli bazası ilə müqayisədə daha aşağı nəticə xərcləri, daha yaxşı məxfilik mövqeyi və daha sürətli funksiyalardan əldə edilir.
Bu gün On-Device AI nə sayılır?
Apple Intelligence, Apple-ın dəstəklənən iPhone, iPad və Mac aparatlarında yerli olaraq yığcam dil modelini işlədən sistem funksiyaları və tərtibatçı çərçivələri toplusudur, daha ağır tapşırıqlar üçün Private Cloud Compute istifadə olunur. Tərtibatçılar Apple-ın Foundation Models çərçivəsi vasitəsilə on-device modelinə müraciət edə bilərlər. Gemini Nano, Google-un dəstəklənən cihazlarda AICore vasitəsilə Android-ə daxil edilmiş və Chrome-da eksperimental daxili AI API-ləri vasitəsilə veb tərtibatçılarına təqdim edilən ən kiçik Gemini modelidir.
Hər ikisi eyni ticarəti bölüşür. Model cihaz yaddaşına sığacaq qədər kiçikdir, ona görə də xülasə etmə, yenidən yazma, təsnifat və qısa çıxarışı yaxşı idarə edir. Bu, uzun mühakimə, geniş dünya biliyi və ya böyük sənədlər üçün böyük bulud modelinin əvəzi deyil.
Xərclər əslində harada yerləşir?
Bulud API-lərinə öyrəşmiş komandalar tez-tez on-device-ın pulsuz demək olduğunu düşünürlər. Zəng başına pulsuzdur, lakin layihə belə deyil. Büdcə dörd yerə keçir.
- Mühəndislik: platforma çərçivələrinin inteqrasiyası, mövcudluq yoxlamalarının idarə edilməsi, ehtiyat variantların yazılması və cihaz nəsilləri üzrə sınaqdan keçirilməsi.
- Əhatə dairəsi boşluqları: yalnız son, daha yüksək səviyyəli cihazlar bu modelləri dəstəkləyir, ona görə də auditoriyanızın bir hissəsinə hələ də bulud yolu və ya heç bir funksiya lazım deyil.
- Keyfiyyət işi: daha kiçik model üçün prompt dizaynı və qiymətləndirmə daha çox iterasiya tələb edir, çünki o, böyük modeldən fərqli şəkildə uğursuz olur.
- Texniki xidmət: əməliyyat sistemi yeniləmələri model davranışını dəyişə bilər, bu da hər əsas buraxılışda yenidən sınaqdan keçirmək deməkdir.
Bulud alternativi əks formaya malikdir: aşağı quraşdırma, istifadə ilə miqyaslanan davamlı token haqqları. Bu fərq ROI hesablamasının əsasını təşkil edir.
On-Device AI funksiyasını necə büdcələşdirirsiniz?
Büdcəni birdəfəlik quruluş və təkrarlanan işləmə xərclərinə bölün. Quruluş əsasən tərtibatçı həftələridir. İşləmə xərcləri dəstəklənən cihazlar üçün sıfıra yaxındır və qalanları üçün bulud ehtiyat variantı xərcinizə bərabərdir.
İşlənmiş çərçivə
Məsələn, “rəyləri xülasə et” düyməsini əlavə edən pərakəndə satış tətbiqini təsəvvür edin. Dəstəklənən cihazlarda xülasə yerli olaraq yaradılır. Köhnə cihazlarda o, bulud modelinə zəng edir. Aylıq işləmə xərciniz o zaman dəstəklənməyən cihazlarda tələb olunan xülasələrin sayı ilə xülasə başına bulud qiymətinin vurulmasıdır. Cihaz bazası yeniləndikcə, bu rəqəm heç bir yeni iş olmadan azalır.
- Oxşar funksiyalar üzrə analitikadan aylıq funksiya istifadəsini qiymətləndirin.
- Öz auditoriya məlumatlarınızdan istifadə edərək bu istifadəni dəstəklənən və dəstəklənməyən cihazlara bölün.
- Dəstəklənməyən payı bulud provayderinizin cari dərəcəsi ilə qiymətləndirin.
- Funksiyanın gözlənilən ömrü ərzində amortizasiya edilmiş quruluş xərcini əlavə edin.
Bu, bir başa-baş nöqtəsi verir: kümülativ bulud qənaətinin əlavə quruluş səyini aşdığı ay.
Hansı gəlirlər realdır?
Ən təmiz gəlir qarşısı alınan nəticə xərcləridir. Əgər yüksək həcmli funksiya əksər istifadəçilər üçün buluddan cihaza keçərsə, qənaət fakturada görünür. Lakin bu, yalnız həcm yüksək olduqda vacibdir. Gündə bir neçə yüz dəfə istifadə olunan funksiya nadir hallarda ayrıca on-device yolunu əsaslandırır.
İkinci gəlir məxfilikdir. Cihazda emal şəxsi mətnin, fotoşəkillərin və ya mesajların onu tərk etməməsi deməkdir, bu da GDPR və Türkiyənin KVKK kimi qaydalar çərçivəsində bəzi uyğunluq söhbətlərini sadələşdirir. Bunu rəqəmlə ifadə etmək çətindir, lakin hüquq komandasının başqa cür rədd edəcəyi funksiyaların blokunu aça bilər.
Üçüncü gəlir sürət və oflayn istifadədir. Yerli nəticə şəbəkə gediş-gəlişindən qaçır və funksiyalar qatarda və ya zəif siqnalı olan mağazada işləməyə davam edir. Bunu qeyri-müəyyən fayda kimi deyil, gecikmə və tamamlama dərəcəsi kimi ölçün.
Hansı KPI-lər dəyəri sübut edir?
Qısa bir siyahı seçin və işə salındığı andan izləyin. Çoxlu ölçülər siqnalı gizlədir.
- On-device və bulud ehtiyat variantı ilə xidmət göstərilən funksiya sorğularının payı.
- Funksiya üçün aylıq bulud nəticə xərcləri, əvvəl və sonra.
- Bulud yolu ilə müqayisədə on-device orta cavab müddəti.
- Dəstəklənən istifadəçilər arasında funksiyanın mənimsənilməsi və təkrar istifadəsi.
- İstifadəçi rəyi və ya kiçik əl ilə nəzərdən keçirmə nümunəsindən tapşırıq uğur dərəcəsi.
Əgər mənimsənilmə aşağıdırsa, xərc qənaəti əhəmiyyətsizdir. İstifadəni ilk qapı kimi qəbul edin, sonra pula baxın.
Alien Road optimallaşdırma layihələrində on-device AI-ni necə tətbiq edir
Tipik bir əlaqə müştərinin mövcud AI funksiyalarının və onların bulud hesablarının auditi ilə başlayır. Komanda qısa, tez-tez və məxfilik üçün həssas olan tapşırıqları qeyd edir, çünki bunlar yerli modellər üçün ən yaxşı namizədlərdir. Uzun formalı nəsil və tədqiqat tapşırıqları buludda qalır.
Quraşdırma zamanı komanda müştərinin tərtibatçıları ilə birlikdə ehtiyat variantları və qiymətləndirmə dəstini müəyyən etmək üçün işləyir: razılaşdırılmış yaxşı nəticələri olan bir neçə yüz real, anonimləşdirilmiş giriş. Həm on-device, həm də bulud yolları eyni dəstə qarşı qiymətləndirilir, buna görə də keyfiyyət təəssüratlardan çox sübutlarla müqayisə edilir.
Ölçmə müştərinin analitik yığını, adətən Firebase və ya məhsul analitikası aləti vasitəsilə, hər sorğuya hansı yolun xidmət etdiyini göstərən hadisələrlə həyata keçirilir. Aylıq hesabat cihazın əhatə dairəsini, qənaət edilmiş xərcləri, gecikmə və keyfiyyət ballarını yan-yana göstərir, üstəgəl on-device emalını növbəti funksiyaya genişləndirmək və ya olduğu yerdə saxlamaq barədə tövsiyə verir.
On-Device AI nə vaxt yanlış seçimdir?
Bəzi vəziyyətlər buna qarşı çıxır. Onlar haqqında aydın olmaq dürüst ROI işinin bir hissəsidir.
- Bulud haqlarının artıq cüzi olduğu aşağı həcmli funksiyalar.
- Əhatə dairəsinin illərlə kiçik olacağı köhnə və ya büdcəli aparatdakı auditoriyalar.
- Cari məlumat və ya böyük kontekst pəncərələri tələb edən tapşırıqlar.
- Tətbiqi olmayan marketinq vebsaytları, burada daxili modellər üçün brauzer dəstəyi hələ də eksperimentaldır.
Bu hallarda keşləmə ilə yaxşı seçilmiş bulud modeli ümumiyyətlə daha ucuzdur.
Bu həftə haradan başlamaq lazımdır
Keçən ayın AI ilə bağlı bulud fakturasını ixrac edin və onun arxasındakı funksiyaları sadalayın. Hər biri üçün sorğu həcmini və tipik girişin nə qədər uzun olduğunu qeyd edin. Qısa, tez-tez, şəxsi tapşırıqlar qısa siyahıya düşür.
Sonra Apple Intelligence və ya Gemini Nano-nu dəstəkləyən cihazlardakı istifadəçilərin payı üçün analitikanızı yoxlayın. İkisini vurun və on-device yolunun nə qədər xərci köçürə biləcəyinə dair ilk təxmininiz var. Əgər rəqəm kiçikdirsə, orada dayanın. Əgər böyükdürsə, qiymətləndirmə dəsti ilə iki həftəlik prototip növbəti məntiqli addımdır.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması