On-device AI, bulud serveri əvəzinə birbaşa telefonda və ya noutbukda yığcam dil və ya görmə modelini işlədir. Apple Intelligence və Google-un Gemini Nano-su bunun ən məşhur nümunələridir. Bir funksiyanı pilotdan istehsala keçirmək cihaz dəstəyini təsdiqləmək, bulud ehtiyat nüsxəsini layihələndirmək, real aparatda keyfiyyəti yoxlamaq, məxfilik davranışını sənədləşdirmək və hər platforma üçün qəbulu ayrıca ölçmək deməkdir.
Apple Intelligence, Apple-ın iOS, iPadOS və macOS üzrə generativ funksiyalar sistemidir; daha ağır sorğular üçün kiçik bir on-device model və Private Cloud Compute istifadə edir. Apple, yazılma zamanı, tərtibatçılar üçün bir çərçivə vasitəsilə on-device təməl modelinə girişi açıb. Gemini Nano, Google-un ən kiçik Gemini modelidir və Android-in AICore sistem xidməti vasitəsilə seçilmiş Android cihazlarında, həmçinin eksperimental formada Chrome daxilində daxili AI API-ləri vasitəsilə əlçatandır. Hər ikisi eyni mübadiləni gətirir: daha kiçik model və qeyri-bərabər cihaz əhatəsi müqabilində məxfilik və sürət.
Marketinq və ya məhsul komandası niyə maraqlanmalıdır?
On-device modellər istifadəçi məlumatlarını serverə göndərmədən tətbiqə mətni ümumiləşdirməyə, yenidən yazmağa, təsnif etməyə və ya çıxarmağa imkan verir. Bu, mesajları, sağlamlıq qeydlərini və ya maliyyə məlumatlarını idarə edən tətbiqlər və istifadəçilərin və tənzimləyicilərin məlumat ötürülməsinə həssas olduğu bazarlar üçün vacibdir.
Həmçinin xərc tərəfi də var. İstifadəçinin cihazında nəticə çıxarılması bulud hesabınızda görünmür. Gündə milyonlarla dəfə istifadə olunan ağıllı cavablar və ya mətn təmizlənməsi kimi funksiyalar üçün bu, mühəndislik səyi daha yüksək olsa da, iqtisadiyyatı dəyişə bilər.
Hansı cihazlar bunu həqiqətən dəstəkləyir?
Bu, yoxlama siyahısındakı ilk qapıdır. Apple Intelligence son aparat və xüsusi dil və region parametrləri tələb edir; Gemini Nano isə yalnız istehsalçıları AICore dəstəyi təqdim edən cihazlarla məhdudlaşır. Hər iki siyahı hər buraxılışla dəyişir, ona görə də bloq yazısı əvəzinə rəsmi sənədləri yoxlayın.
Öhdəlik götürməzdən əvvəl öz analitikanızı çıxarın. Əgər aktiv istifadəçilərinizin yalnız bir hissəsi dəstəklənən cihazlara sahibdirsə, funksiya əsas funksiya deyil, təkmilləşdirmə olur və plan bunu qeyd etməlidir.
Pilot yoxlama siyahısı
- Modelin yerinə yetirəcəyi tək tapşırığı, məsələn, dəstək biletlərini ümumiləşdirmək və ya fotoşəkilləri etiketləmək kimi qeyd edin.
- Platforma və ölkə üzrə dəstəklənən cihazlardakı aktiv istifadəçilərinizin payını təsdiqləyin.
- On-device modeli 50-100 real nümunə üzərində sınaqdan keçirin və eyni dəst üzərində bulud modeli ilə müqayisə edin.
- Yalnız ən yenisində deyil, dəstəklənən ən köhnə cihazda gecikməni və batareya təsirini ölçün.
- Dəstəklənməyən cihazlarda nə baş verəcəyinə qərar verin: funksiyanı gizlədin, bulud modelinə zəng edin və ya daha sadə AI olmayan versiyanı təklif edin.
- Hər hansı istifadəçi funksiyanı görməzdən əvvəl məxfilik siyasətinin ifadəsini hüquq şöbəsi ilə nəzərdən keçirin.
Pilot və istehsal arasında nə dəyişir?
Pilot modelin tapşırığı yerinə yetirə biləcəyini sübut edir. İstehsal isə onun nəzarət etmədiyiniz model yeniləmələri ilə qarışıq aparatda minlərlə insan üçün bunu edə biləcəyini sübut edir.
Həm Apple, həm də Google on-device modellərini əməliyyat sistemi və ya sistem xidməti yeniləmələri vasitəsilə yeniləyir. Sizin sorğularınız və çıxış təhliliniz yeniləmədən sonra fərqli davrana bilər. Buna hər hansı üçüncü tərəf asılılığı kimi baxın: reqressiya test dəstini saxlayın və yeni OS versiyası betaya çatdıqda onu işə salın.
İstehsal yoxlama siyahısı
- AI yolunu uzaqdan söndürülə bilməsi üçün funksiya bayrağı ilə işarələyin.
- İstifadəçinin məzmununu qeyd etmədən, qəbul edilmiş, redaktə edilmiş və ya rədd edilmiş kimi anonim nəticə siqnallarını qeyd edin.
- Çıxış uzunluğu və formatı üçün qoruyucu çərçivələr təyin edin və boş və ya səhv cavabları idarə edin.
- Ehtiyat yolunu və bulud modelindən istifadə edirsə, onun xərclərini sənədləşdirin.
- Funksiyanı hər platforma üçün ən azı bir dəstəklənən və bir dəstəklənməyən cihazda buraxılış QA-ya əlavə edin.
- “Bu funksiyanı niyə görmürəm?” sualı üçün dəstək cavablarını hazırlayın.
Onun işlədiyini necə ölçürsünüz?
Platforma üzrə qəbulu və keyfiyyəti ölçün, çünki modellər fərqlidir. Faydalı ölçülər funksiyanı sınayan uyğun istifadəçilərin payı, AI çıxışının qəbul dərəcəsi, qəbuldan sonra redaktə dərəcəsi və AI olmayan yolla müqayisədə tapşırığın tamamlanma vaxtıdır.
Ölçmədə məxfilik vədləri ilə ehtiyatlı olun. Əgər marketinqiniz məlumatların cihazdan heç vaxt çıxmadığını deyirsə, analitikanız mətni gizli şəkildə toplaya bilməz. Məzmunu deyil, davranışı izləyin.
On-device modellərin əsas məhdudiyyətləri nələrdir?
Kiçik modellər bulud qardaşlarından daha az bilir və daha az düşünür. Onlar sorğuda lazım olan məlumatla məhdudlaşdırılmış tapşırıqlarda, məsələn, paraqrafı yenidən yazmaq və ya e-poçtdan tarixi çıxarmaq kimi işlərdə yaxşıdırlar. Onlar geniş dünya biliyi tələb edən açıq suallarda zəifdirlər.
Kontekst pəncərələri də daha qısadır, ona görə də uzun sənədlərin bölünməsi lazım ola bilər. Sistem modelini bulud modelində olduğu kimi incə tənzimləyə bilmədiyiniz üçün keyfiyyət təkmilləşdirmələri təlimdən deyil, daha yaxşı sorğulardan və daha yaxşı giriş hazırlığından gəlir. Növbəti OS buraxılışının onları aradan qaldıracağına ümid etmək əvəzinə, funksiyaları bu məhdudiyyətlər ətrafında planlaşdırın.
Hansı istifadə halları on-device modellərə ən uyğundur?
Məhdud mətn tapşırıqları ən təhlükəsiz başlanğıcdır: tək bir mesajı ümumiləşdirmək, qısa cavab təklif etmək, qeydi daha mehriban tonda yenidən yazmaq və ya ünvanı və ya tarixi çıxarmaq. Fotoşəkilləri etiketləmək və ya fonu silmək kimi şəkil tapşırıqları da yerli emala uyğundur.
Təzə məlumat, uzun sənədlər və ya diqqətli düşünmə tələb edən tapşırıqlar server modelinə aiddir. Aydını bölmə, sürətli şəxsi tapşırıqlar üçün yerli və ağır olanlar üçün bulud, gözlənilməz şəkildə dəyişən funksiyadan istifadəçilərə və hüquq komandalarına izah etmək daha asandır.
Alien Road on-device AI-ni necə tətbiq edir
Tipik bir əməkdaşlıqda bizim rolumuz məhsul və marketinq arasındadır. Kəşf, dəstəklənən cihaz auditoriyasını ölçmək üçün müştərinin analitikası ilə başlayır, sonra istifadəçilərə görünən fayda verən tapşırıq haqqında qısa bir seminar keçirilir.
Biz sınaq dəstini və bulud modeli ilə müqayisəni qurmağa, qəbul ölçülərini müəyyən etməyə və nəticələri platforma və cihaz sinfinə görə bölən idarə paneli qurmağa kömək edirik. Marketinq tərəfində, biz tətbiqdaxili və mağaza nüsxəsini yazırıq ki, məxfilik iddiaları funksiyanın etdikləri ilə tam uyğun olsun və müştərinin genişləndirmək, saxlamaq və ya təqaüdə çıxarmaq qərarına gələ bilməsi üçün qəbulu aylıq hesabat veririk.
Bu həftə haradan başlamaq lazımdır
Keçən ayın aktiv istifadəçilərini cihaz modeli və OS versiyasına görə ixrac edin. Onu Apple Intelligence və Gemini Nano üçün cari rəsmi dəstək siyahıları ilə müqayisə edin. Həmin cədvəl sizə on-device AI-nin məhsulunuz üçün əsas başlıq funksiyası, yoxsa sakit bir təkmilləşdirmə olduğunu deyir.
Əgər pay mənalıdırsa, bir mətn tapşırığı seçin, 50 real nümunə toplayın və onları sınaq telefonunda on-device model vasitəsilə işə salın. Harada uğursuz olduğunu qeyd edin. Həmin siyahı sizin pilot planınızdır.
Oxumağa davam edin: Süni intellekt optimallaşdırması · Süni intellekt optimallaşdırması