L’IA sur l’appareil exécute un modèle de langage ou de vision compact directement sur le téléphone ou l’ordinateur portable au lieu d’un serveur cloud. Apple Intelligence et Gemini Nano de Google sont les exemples les plus connus. Faire passer une fonctionnalité du stade pilote à la production signifie confirmer la prise en charge de l’appareil, concevoir une solution de secours cloud, tester la qualité sur du matériel réel, documenter le comportement en matière de confidentialité et mesurer l’adoption séparément pour chaque plateforme.
Apple Intelligence est le système de fonctionnalités génératives d’Apple sur iOS, iPadOS et macOS, avec un modèle plus petit sur l’appareil et Private Cloud Compute pour les requêtes plus lourdes. Apple a ouvert l’accès à son modèle de base sur l’appareil aux développeurs via un framework, au moment de la rédaction. Gemini Nano est le plus petit modèle Gemini de Google, disponible sur certains appareils Android via le service système AICore d’Android et, sous forme expérimentale, dans Chrome via des API d’IA intégrées. Les deux impliquent le même compromis : confidentialité et vitesse en échange d’un modèle plus petit et d’une couverture d’appareils inégale.
Pourquoi une équipe marketing ou produit devrait-elle s’en soucier ?
Les modèles sur l’appareil permettent à une application de résumer, réécrire, classer ou extraire du texte sans envoyer de données utilisateur à un serveur. C’est important pour les applications traitant des messages, des notes de santé ou des données financières, et pour les marchés où les utilisateurs et les régulateurs sont sensibles aux transferts de données.
Il y a aussi un aspect financier. L’inférence sur l’appareil de l’utilisateur n’apparaît pas sur votre facture cloud. Pour une fonctionnalité utilisée des millions de fois par jour, comme les réponses intelligentes ou le nettoyage de texte, cela peut changer l’économie, même si l’effort d’ingénierie est plus élevé.
Quels appareils le prennent réellement en charge ?
C’est la première étape de la liste de contrôle. Apple Intelligence nécessite du matériel récent et des paramètres de langue et de région spécifiques ; Gemini Nano est limité aux appareils dont les fabricants intègrent la prise en charge d’AICore. Les deux listes changent à chaque version, consultez donc la documentation officielle plutôt qu’un article de blog.
Analysez vos propres données avant de vous engager. Si seule une fraction de vos utilisateurs actifs possède des appareils pris en charge, la fonctionnalité devient une amélioration, pas une fonction principale, et le plan doit le mentionner.
Liste de contrôle pilote
- Notez la tâche unique que le modèle effectuera, comme résumer des tickets de support ou taguer des photos.
- Confirmez la part de vos utilisateurs actifs sur les appareils pris en charge, par plateforme et par pays.
- Testez le modèle sur l’appareil sur 50 à 100 exemples réels et comparez-le avec un modèle cloud sur le même ensemble.
- Mesurez la latence et l’impact sur la batterie sur l’appareil pris en charge le plus ancien, pas seulement sur le plus récent.
- Décidez ce qui se passe sur les appareils non pris en charge : masquer la fonctionnalité, appeler un modèle cloud ou proposer une version plus simple sans IA.
- Révisez le libellé de la politique de confidentialité avec le service juridique avant qu’un utilisateur ne voie la fonctionnalité.
Qu’est-ce qui change entre le pilote et la production ?
Un pilote prouve que le modèle peut effectuer la tâche. La production prouve qu’il peut le faire pour des milliers de personnes sur du matériel mixte, avec des mises à jour de modèle que vous ne contrôlez pas.
Apple et Google mettent tous deux à jour leurs modèles sur l’appareil via des mises à jour du système d’exploitation ou du service système. Vos invites et l’analyse des sorties peuvent se comporter différemment après une mise à jour. Traitez cela comme n’importe quelle dépendance tierce : maintenez un ensemble de tests de régression et exécutez-le lorsqu’une nouvelle version du système d’exploitation atteint la version bêta.
Liste de contrôle de production
- Utilisez un indicateur de fonctionnalité pour le chemin de l’IA afin qu’il puisse être désactivé à distance.
- Enregistrez les signaux de résultat anonymes, tels que accepté, modifié ou rejeté, sans enregistrer le contenu de l’utilisateur.
- Définissez des garde-fous pour la longueur et le format de sortie, et gérez les réponses vides ou mal formées.
- Documentez le chemin de secours et son coût s’il utilise un modèle cloud.
- Ajoutez la fonctionnalité au QA de publication sur au moins un appareil pris en charge et un appareil non pris en charge par plateforme.
- Préparez des réponses de support pour “pourquoi ne vois-je pas cette fonctionnalité ?”
Comment mesurez-vous si cela a fonctionné ?
Mesurez l’adoption et la qualité par plateforme, car les modèles diffèrent. Les mesures utiles sont la part des utilisateurs éligibles qui essaient la fonctionnalité, le taux d’acceptation de la sortie de l’IA, le taux de modification après acceptation et le temps de réalisation de la tâche par rapport au chemin sans IA.
Soyez prudent avec les promesses de confidentialité lors de la mesure. Si votre marketing indique que les données ne quittent jamais l’appareil, vos analyses ne peuvent pas collecter le texte en silence. Suivez le comportement, pas le contenu.
Quelles sont les principales limites des modèles sur l’appareil ?
Les petits modèles savent moins de choses et raisonnent moins bien que leurs homologues cloud. Ils sont bons pour les tâches limitées avec les informations nécessaires dans l’invite, comme réécrire un paragraphe ou extraire une date d’un e-mail. Ils sont médiocres pour les questions ouvertes qui nécessitent une vaste connaissance du monde.
Les fenêtres de contexte sont également plus courtes, les longs documents peuvent donc devoir être divisés. Et comme vous ne pouvez pas affiner le modèle système comme vous le feriez avec un modèle cloud, les améliorations de qualité proviennent de meilleures invites et d’une meilleure préparation des entrées, pas de l’entraînement. Planifiez les fonctionnalités autour de ces limites plutôt que d’espérer que la prochaine version du système d’exploitation les supprimera.
Quels cas d’utilisation conviennent le mieux aux modèles sur l’appareil ?
Les tâches textuelles limitées sont le début le plus sûr : résumer un seul message, suggérer une réponse courte, réécrire une note sur un ton plus amical ou extraire une adresse ou une date. Les tâches d’image telles que le marquage de photos ou la suppression d’un arrière-plan conviennent également au traitement local.
Les tâches nécessitant des informations fraîches, de longs documents ou un raisonnement minutieux appartiennent à un modèle de serveur. Une séparation claire, locale pour les tâches privées rapides et cloud pour les tâches lourdes, est plus facile à expliquer aux utilisateurs et aux équipes juridiques qu’une fonctionnalité qui bascule de manière imprévisible.
Comment Alien Road applique l’IA sur l’appareil
Notre rôle dans un engagement typique se situe entre le produit et le marketing. La découverte commence par les analyses du client pour dimensionner l’audience des appareils pris en charge, puis un court atelier sur la tâche qui apporte aux utilisateurs un avantage visible.
Nous aidons à mettre en place l’ensemble de tests et la comparaison avec un modèle cloud, à définir les mesures d’adoption et à créer un tableau de bord qui divise les résultats par plateforme et par classe d’appareil. Côté marketing, nous rédigeons le texte dans l’application et sur le store afin que les déclarations de confidentialité correspondent exactement à ce que fait la fonctionnalité, et nous rapportons l’adoption mensuellement afin que le client puisse décider de l’étendre, de la conserver ou de la retirer.
Par où commencer cette semaine
Exportez les utilisateurs actifs du mois dernier par modèle d’appareil et version du système d’exploitation. Comparez-le avec les listes de support officielles actuelles pour Apple Intelligence et Gemini Nano. Ce tableau vous indique si l’IA sur l’appareil est une fonctionnalité phare ou une amélioration discrète pour votre produit.
Si la part est significative, choisissez une tâche textuelle, collectez 50 exemples réels et exécutez-les via le modèle sur l’appareil sur un téléphone de test. Notez où cela échoue. Cette liste est votre plan pilote.
Continuer la lecture : Optimisation par IA · Optimisation par IA