Cihaz içi AI, bulut sunucusu yerine doğrudan telefon veya dizüstü bilgisayarda kompakt bir dil veya görüntü modeli çalıştırır. Apple Intelligence ve Google’ın Gemini Nano’su bunun en bilinen örnekleridir. Bir özelliği pilottan üretime geçirmek; cihaz desteğini doğrulamak, bulut yedeği tasarlamak, gerçek donanımda kaliteyi test etmek, gizlilik davranışını belgelemek ve her platform için benimsenmeyi ayrı ayrı ölçmek anlamına gelir.
Apple Intelligence, Apple’ın iOS, iPadOS ve macOS genelindeki üretken özellikler sistemidir; daha ağır istekler için daha küçük bir cihaz içi model ve Private Cloud Compute kullanır. Apple, yazının yazıldığı sırada, geliştiriciler için bir çerçeve aracılığıyla cihaz içi temel modeline erişimi açmıştır. Gemini Nano, Google’ın en küçük Gemini modelidir ve Android’in AICore sistem hizmeti aracılığıyla seçili Android cihazlarda ve deneysel formda Chrome içinde yerleşik AI API’leri aracılığıyla kullanılabilir. Her ikisi de aynı takası getirir: daha küçük bir model ve düzensiz cihaz kapsamı karşılığında gizlilik ve hız.
Bir pazarlama veya ürün ekibi neden ilgilenmeli?
Cihaz içi modeller, bir uygulamanın kullanıcı verilerini sunucuya göndermeden metni özetlemesine, yeniden yazmasına, sınıflandırmasına veya çıkarmasına olanak tanır. Bu, mesajları, sağlık notlarını veya finansal verileri işleyen uygulamalar ve kullanıcıların ve düzenleyicilerin veri aktarımları konusunda hassas olduğu pazarlar için önemlidir.
Ayrıca bir maliyet açısı da var. Kullanıcının cihazındaki çıkarım bulut faturanızda görünmez. Akıllı yanıtlar veya metin temizleme gibi günde milyonlarca kez kullanılan bir özellik için, mühendislik çabası daha yüksek olsa da, bu ekonomiyi değiştirebilir.
Hangi cihazlar bunu gerçekten destekliyor?
Bu, kontrol listesindeki ilk kapıdır. Apple Intelligence güncel donanım ve belirli dil ve bölge ayarları gerektirir; Gemini Nano ise üreticileri AICore desteği sunan cihazlarla sınırlıdır. Her iki liste de her sürümle değişir, bu yüzden bir blog yazısı yerine resmi belgeleri kontrol edin.
Taahhütte bulunmadan önce kendi analitiğinizi çıkarın. Aktif kullanıcılarınızın sadece bir kısmı desteklenen cihazlara sahipse, özellik temel bir işlev değil, bir iyileştirme olur ve plan bunu belirtmelidir.
Pilot kontrol listesi
- Modelin yapacağı tek görevi, örneğin destek biletlerini özetlemek veya fotoğrafları etiketlemek gibi not edin.
- Platform ve ülke bazında desteklenen cihazlardaki aktif kullanıcılarınızın payını doğrulayın.
- Cihaz içi modeli 50 ila 100 gerçek örnek üzerinde test edin ve aynı setteki bir bulut modeliyle karşılaştırın.
- Gecikmeyi ve pil etkisini sadece en yenisinde değil, desteklenen en eski cihazda ölçün.
- Desteklenmeyen cihazlarda ne olacağına karar verin: özelliği gizleyin, bir bulut modelini çağırın veya daha basit AI olmayan bir sürüm sunun.
- Herhangi bir kullanıcı özelliği görmeden önce gizlilik politikası metnini hukuk departmanıyla gözden geçirin.
Pilot ve üretim arasında ne değişir?
Bir pilot, modelin görevi yapabileceğini kanıtlar. Üretim ise, kontrol etmediğiniz model güncellemeleriyle, karışık donanımda binlerce insan için bunu yapabileceğini kanıtlar.
Hem Apple hem de Google, cihaz içi modellerini işletim sistemi veya sistem hizmeti güncellemeleri aracılığıyla günceller. İstemleriniz ve çıktı ayrıştırmanız bir güncellemeden sonra farklı davranabilir. Buna herhangi bir üçüncü taraf bağımlılığı gibi davranın: bir regresyon test seti tutun ve yeni bir OS sürümü betaya ulaştığında çalıştırın.
Üretim kontrol listesi
- AI yolunu uzaktan kapatılabilmesi için özellik bayrağı ile işaretleyin.
- Kullanıcının içeriğini günlüğe kaydetmeden, kabul edildi, düzenlendi veya reddedildi gibi anonim sonuç sinyallerini günlüğe kaydedin.
- Çıktı uzunluğu ve formatı için koruyucu önlemler belirleyin ve boş veya hatalı yanıtları yönetin.
- Bulut modeli kullanıyorsa yedekleme yolunu ve maliyetini belgeleyin.
- Özelliği platform başına en az bir desteklenen ve bir desteklenmeyen cihazda sürüm QA’sına ekleyin.
- “Bu özelliği neden görmüyorum?” sorusu için destek yanıtlarını hazırlayın.
İşe yarayıp yaramadığını nasıl ölçersiniz?
Modeller farklı olduğu için platform bazında benimsenmeyi ve kaliteyi ölçün. Faydalı metrikler, özelliği deneyen uygun kullanıcıların payı, AI çıktısının kabul oranı, kabulden sonraki düzenleme oranı ve AI olmayan yola kıyasla görev tamamlama süresidir.
Ölçümde gizlilik vaatleri konusunda dikkatli olun. Pazarlamanız verilerin cihazdan asla çıkmadığını söylüyorsa, analitiğiniz metni sessizce toplayamaz. İçeriği değil, davranışı izleyin.
Cihaz içi modellerin ana sınırları nelerdir?
Küçük modeller, bulut kardeşlerinden daha az bilir ve daha az akıl yürütür. Bir paragrafı yeniden yazmak veya bir e-postadan tarih çıkarmak gibi, istemde gerekli bilgilerin bulunduğu sınırlı görevlerde iyidirler. Geniş dünya bilgisi gerektiren açık uçlu sorularda zayıftırlar.
Bağlam pencereleri de daha kısadır, bu nedenle uzun belgelerin bölünmesi gerekebilir. Ve sistem modelini bir bulut modelinde olduğu gibi ince ayarlayamadığınız için, kalite iyileştirmeleri eğitimden değil, daha iyi istemlerden ve daha iyi girdi hazırlığından gelir. Özellikleri, bir sonraki OS sürümünün bunları kaldıracağını ummak yerine bu sınırlar etrafında planlayın.
Hangi kullanım durumları cihaz içi modellere en uygunudur?
Sınırlı metin görevleri en güvenli başlangıçtır: tek bir mesajı özetlemek, kısa bir yanıt önermek, bir notu daha arkadaşça bir tonda yeniden yazmak veya bir adres veya tarih çıkarmak. Fotoğrafları etiketlemek veya arka planı kaldırmak gibi görüntü görevleri de yerel işleme için uygundur.
Taze bilgi, uzun belgeler veya dikkatli akıl yürütme gerektiren görevler sunucu modeline aittir. Hızlı özel görevler için yerel ve ağır olanlar için bulut şeklinde net bir ayrım, tahmin edilemez şekilde değişen bir özellikten kullanıcılara ve hukuk ekiplerine açıklamak daha kolaydır.
Alien Road cihaz içi AI’yi nasıl uyguluyor
Tipik bir etkileşimdeki rolümüz ürün ve pazarlama arasındadır. Keşif, desteklenen cihaz kitlesini boyutlandırmak için müşterinin analitiği ile başlar, ardından kullanıcılara görünür bir fayda sağlayan görevin hangisi olduğu üzerine kısa bir atölye çalışması yapılır.
Test setini ve bulut modeliyle karşılaştırmayı kurmaya, benimseme metriklerini tanımlamaya ve sonuçları platform ve cihaz sınıfına göre bölen bir kontrol paneli oluşturmaya yardımcı oluyoruz. Pazarlama tarafında, uygulama içi ve mağaza metinlerini gizlilik iddialarının özelliğin yaptığıyla tam olarak eşleşecek şekilde yazıyoruz ve müşterinin genişletip genişletmeyeceğine, tutup tutmayacağına veya emekli edip etmeyeceğine karar verebilmesi için benimsenmeyi aylık olarak raporluyoruz.
Bu hafta nereden başlamalı
Geçen ayın aktif kullanıcılarını cihaz modeli ve OS sürümüne göre dışa aktarın. Bunu Apple Intelligence ve Gemini Nano için mevcut resmi destek listeleriyle karşılaştırın. O tek tablo size cihaz içi AI’nin ürününüz için ana bir özellik mi yoksa sessiz bir iyileştirme mi olduğunu söyler.
Pay anlamlıysa, bir metin görevi seçin, 50 gerçek örnek toplayın ve bunları bir test telefonunda cihaz içi modelden geçirin. Nerede başarısız olduğunu not edin. O liste sizin pilot planınızdır.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu