On-Device AI, faturanın nereye düşeceğini değiştirir. Apple Intelligence ve Gemini Nano ile model kullanıcının telefonunda veya dizüstü bilgisayarında çalışır, bu nedenle istek başına bulut ücreti yoktur, ancak maliyetler mühendislik süresine, cihaz kapsamı sınırlamalarına ve daha dar model yeteneklerine kayar. ROI, bulut modeli temeline kıyasla daha düşük çıkarım harcamalarından, daha iyi gizlilik konumlandırmasından ve daha hızlı özelliklerden elde edilir.
Bugün On-Device AI olarak ne sayılır?
Apple Intelligence, Apple’ın desteklenen iPhone, iPad ve Mac donanımlarında yerel olarak kompakt bir dil modeli çalıştıran sistem özellikleri ve geliştirici çerçeveleri setidir; daha ağır görevler için Private Cloud Compute kullanılır. Geliştiriciler, Apple’ın Foundation Models çerçevesi aracılığıyla on-device modelini çağırabilirler. Gemini Nano, Google’ın desteklenen cihazlarda AICore aracılığıyla Android’e yerleşik olan ve Chrome’daki deneysel yerleşik AI API’leri aracılığıyla web geliştiricilerine sunulan en küçük Gemini modelidir.
Her ikisi de aynı takası paylaşır. Model cihaz belleğine sığacak kadar küçüktür, bu nedenle özetleme, yeniden yazma, sınıflandırma ve kısa çıkarma işlemlerini iyi yönetir. Uzun muhakeme, geniş dünya bilgisi veya büyük belgeler için büyük bir bulut modelinin yerini tutmaz.
Maliyetler aslında nerede duruyor?
Bulut API’lerine alışkın ekipler genellikle on-device’ın ücretsiz anlamına geldiğini varsayar. Çağrı başına ücretsizdir, ancak proje değildir. Bütçe dört yere kayar.
- Mühendislik: platform çerçevelerinin entegrasyonu, kullanılabilirlik kontrollerinin yönetilmesi, yedeklerin yazılması ve cihaz nesilleri genelinde test edilmesi.
- Kapsam boşlukları: yalnızca yeni, üst düzey cihazlar bu modelleri destekler, bu nedenle hedef kitlenizin bir kısmı hala bir bulut yoluna veya hiçbir özelliğe ihtiyaç duyar.
- Kalite çalışması: daha küçük bir model için istem tasarımı ve değerlendirme daha fazla yineleme gerektirir, çünkü büyük bir modelden farklı şekilde başarısız olur.
- Bakım: işletim sistemi güncellemeleri model davranışını değiştirebilir, bu da her büyük sürümde yeniden test etmek anlamına gelir.
Bulut alternatifi zıt bir şekle sahiptir: düşük kurulum, kullanımla ölçeklenen sürekli token ücretleri. Bu fark, ROI hesaplamasının çekirdeğidir.
Bir On-Device AI özelliğini nasıl bütçelendirirsiniz?
Bütçeyi tek seferlik bir yapı ve tekrarlayan bir çalışma maliyetine bölün. Yapı çoğunlukla geliştirici haftalarıdır. Çalışma maliyeti desteklenen cihazlar için sıfıra yakındır ve geri kalanı için bulut yedekleme maliyetinize eşittir.
Çalışılmış bir çerçeve
Örneğin, “incelemeleri özetle” düğmesi ekleyen bir perakende uygulamasını hayal edin. Desteklenen cihazlarda özet yerel olarak oluşturulur. Eski cihazlarda bulut modelini çağırır. Aylık çalışma maliyetiniz, desteklenmeyen cihazlarda istenen özet sayısı ile özet başına bulut fiyatının çarpımıdır. Cihaz tabanı güncellendikçe, bu sayı yeni bir çalışma olmadan küçülür.
- Benzer özellikler üzerindeki analitiklerden aylık özellik kullanımını tahmin edin.
- Kendi hedef kitle verilerinizi kullanarak bu kullanımı desteklenen ve desteklenmeyen cihazlara göre bölün.
- Desteklenmeyen payı bulut sağlayıcınızın mevcut oranında fiyatlandırın.
- Özelliğin beklenen ömrü boyunca amorti edilen yapı maliyetini ekleyin.
Bu, bir başabaş noktası verir: kümülatif bulut tasarruflarının ekstra yapı çabasını aştığı ay.
Hangi getirileri talep etmek gerçekçidir?
En temiz getiri, kaçınılan çıkarım harcamasıdır. Yüksek hacimli bir özellik çoğu kullanıcı için buluttan cihaza geçerse, tasarruf faturada görünür. Ancak, bu sadece hacim yüksek olduğunda önemlidir. Günde birkaç yüz kez kullanılan bir özellik nadiren ayrı bir on-device yolunu haklı çıkarır.
İkinci getiri gizliliktir. Cihazda işleme, kişisel metinlerin, fotoğrafların veya mesajların cihazı terk etmemesi anlamına gelir, bu da GDPR ve Türkiye’nin KVKK’sı gibi kurallar kapsamındaki bazı uyumluluk konuşmalarını basitleştirir. Bunu bir sayıya dökmek zordur, ancak hukuk ekibinin aksi takdirde reddedeceği özellikleri engelleyebilir.
Üçüncü getiri hız ve çevrimdışı kullanımdır. Yerel çıkarım ağ gidiş-dönüşünden kaçınır ve özellikler trende veya zayıf sinyalli bir mağazada çalışmaya devam eder. Bunu belirsiz bir fayda olarak değil, gecikme ve tamamlama oranı olarak ölçün.
Hangi KPI’lar değeri kanıtlar?
Kısa bir liste seçin ve lansmandan itibaren takip edin. Çok fazla metrik sinyali gizler.
- Bulut yedeğine karşı on-device olarak sunulan özellik isteklerinin payı.
- Özellik için aylık bulut çıkarım harcaması, öncesi ve sonrası.
- Bulut yoluna kıyasla on-device medyan yanıt süresi.
- Desteklenen kullanıcılar arasında özellik benimseme ve tekrar kullanım.
- Kullanıcı geri bildiriminden veya küçük bir manuel inceleme örneğinden görev başarı oranı.
Benimseme düşükse, maliyet tasarrufları alakasızdır. Kullanımı ilk kapı olarak görün, sonra paraya bakın.
Alien Road, optimizasyon projelerinde On-Device AI’yı nasıl uygular
Tipik bir etkileşim, müşterinin mevcut AI özelliklerinin ve bulut faturalarının denetimiyle başlar. Ekip, kısa, sık ve gizlilik duyarlı görevleri işaretler, çünkü bunlar yerel modeller için en iyi adaylardır. Uzun biçimli üretim ve araştırma görevleri bulutta kalır.
Kurulum sırasında ekip, yedekleri ve bir değerlendirme setini tanımlamak için müşterinin geliştiricileriyle birlikte çalışır: üzerinde anlaşılan iyi çıktılara sahip birkaç yüz gerçek, anonimleştirilmiş girdi. Hem on-device hem de bulut yolları aynı sete göre puanlanır, böylece kalite izlenimlerden ziyade kanıtlara göre karşılaştırılır.
Ölçüm, müşterinin analitik yığını (genellikle Firebase veya bir ürün analitiği aracı) aracılığıyla, her isteğe hangi yolun hizmet ettiğine dair olaylarla yürütülür. Aylık rapor, cihaz kapsamını, tasarruf edilen harcamayı, gecikmeyi ve kalite puanlarını yan yana gösterir, ayrıca on-device işlemenin bir sonraki özelliğe genişletilmesi veya olduğu yerde tutulması konusunda bir öneri sunar.
On-Device AI ne zaman yanlış seçimdir?
Bazı durumlar buna karşı çıkar. Bunlar hakkında net olmak, dürüst bir ROI vakasının parçasıdır.
- Bulut ücretlerinin zaten önemsiz olduğu düşük hacimli özellikler.
- Kapsamın yıllarca küçük kalacağı eski veya bütçe dostu donanımdaki kitleler.
- Güncel bilgi veya büyük bağlam pencereleri gerektiren görevler.
- Yerleşik modeller için tarayıcı desteğinin hala deneysel olduğu, uygulaması olmayan pazarlama web siteleri.
Bu durumlarda, önbelleğe alma özelliğine sahip iyi seçilmiş bir bulut modeli genellikle genel olarak daha ucuzdur.
Bu hafta nereden başlamalı
Geçen ayın AI ile ilgili bulut faturasını dışa aktarın ve arkasındaki özellikleri listeleyin. Her biri için istek hacmini ve tipik girdinin ne kadar uzun olduğunu not edin. Kısa, sık, özel görevler kısa listeye girer.
Ardından, Apple Intelligence veya Gemini Nano’yu destekleyen cihazlardaki kullanıcı payı için analitiklerinizi kontrol edin. İkisini çarpın ve bir on-device yolunun ne kadar harcamayı taşıyabileceğine dair ilk tahmininiz olur. Sayı küçükse, orada durun. Büyükse, bir değerlendirme setiyle iki haftalık bir prototip bir sonraki mantıklı adımdır.
Okumaya devam edin: Yapay Zekâ Optimizasyonu · Yapay Zekâ Optimizasyonu