L’IA sur appareil change l’endroit où la facture tombe. Avec Apple Intelligence et Gemini Nano, le modèle s’exécute sur le téléphone ou l’ordinateur portable de l’utilisateur, il n’y a donc pas de frais cloud par requête, mais les coûts se déplacent vers le temps d’ingénierie, les limites de couverture des appareils et une capacité de modèle plus étroite. Le ROI provient d’une réduction des dépenses d’inférence, d’un meilleur positionnement en matière de confidentialité et de fonctionnalités plus rapides, mesuré par rapport à une base de référence de modèle cloud.
Qu’est-ce qui compte comme IA sur appareil aujourd’hui ?
Apple Intelligence est l’ensemble des fonctionnalités système et des frameworks de développement d’Apple qui exécutent un modèle de langage compact localement sur le matériel iPhone, iPad et Mac pris en charge, avec Private Cloud Compute utilisé pour les tâches plus lourdes. Les développeurs peuvent appeler le modèle sur appareil via le framework Foundation Models d’Apple. Gemini Nano est le plus petit modèle Gemini de Google, intégré à Android via AICore sur les appareils pris en charge et exposé aux développeurs web via des API d’IA intégrées expérimentales dans Chrome.
Les deux partagent le même compromis. Le modèle est assez petit pour tenir dans la mémoire de l’appareil, il gère donc bien le résumé, la réécriture, la classification et l’extraction courte. Ce n’est pas un remplacement pour un grand modèle cloud pour le raisonnement long, les connaissances générales étendues ou les grands documents.
Où se situent réellement les coûts ?
Les équipes habituées aux API cloud supposent souvent que sur appareil signifie gratuit. C’est gratuit par appel, mais le projet ne l’est pas. Le budget se déplace vers quatre endroits.
- Ingénierie : intégration des frameworks de plateforme, gestion des vérifications de disponibilité, rédaction de solutions de secours et tests sur les générations d’appareils.
- Lacunes de couverture : seuls les appareils récents et haut de gamme prennent en charge ces modèles, donc une partie de votre public a toujours besoin d’un chemin cloud ou d’aucune fonctionnalité du tout.
- Travail de qualité : la conception de prompts et l’évaluation pour un modèle plus petit nécessitent plus d’itérations, car il échoue différemment d’un grand.
- Maintenance : les mises à jour du système d’exploitation peuvent modifier le comportement du modèle, ce qui signifie qu’il faut retester à chaque version majeure.
L’alternative cloud a la forme opposée : configuration faible, frais continus par jeton qui évoluent avec l’utilisation. Cette différence est le cœur du calcul du ROI.
Comment budgétiser une fonctionnalité d’IA sur appareil ?
Divisez le budget en une construction unique et un coût d’exécution récurrent. La construction représente principalement des semaines de développeur. Le coût d’exécution est proche de zéro pour les appareils pris en charge et égal à votre coût de secours cloud pour le reste.
Un cadre de travail
Par exemple, imaginez une application de vente au détail qui ajoute un bouton “résumer les avis”. Sur les appareils pris en charge, le résumé est généré localement. Sur les appareils plus anciens, il appelle un modèle cloud. Votre coût d’exécution mensuel est alors le nombre de résumés demandés sur les appareils non pris en charge multiplié par le prix cloud par résumé. À mesure que la base d’appareils se met à jour, ce nombre diminue sans aucun nouveau travail.
- Estimez l’utilisation mensuelle de la fonctionnalité à partir des analyses de fonctionnalités similaires.
- Divisez cette utilisation par appareils pris en charge et non pris en charge en utilisant vos propres données d’audience.
- Tarifez la part non prise en charge au tarif actuel de votre fournisseur cloud.
- Ajoutez le coût de construction, amorti sur la durée de vie prévue de la fonctionnalité.
Cela donne un point d’équilibre : le mois où les économies cloud cumulées dépassent l’effort de construction supplémentaire.
Quels retours est-il réaliste de revendiquer ?
Le retour le plus propre est l’évitement des dépenses d’inférence. Si une fonctionnalité à haut volume passe du cloud à l’appareil pour la plupart des utilisateurs, l’économie est visible sur la facture. Cependant, cela n’a d’importance que lorsque le volume est élevé. Une fonctionnalité utilisée quelques centaines de fois par jour justifie rarement un chemin sur appareil séparé.
Le deuxième retour est la confidentialité. Le traitement sur l’appareil signifie que le texte personnel, les photos ou les messages ne le quittent pas, ce qui simplifie certaines conversations de conformité sous des règles telles que le RGPD et la KVKK turque. C’est difficile à chiffrer, mais cela peut débloquer des fonctionnalités qu’une équipe juridique refuserait autrement.
Le troisième retour est la vitesse et l’utilisation hors ligne. L’inférence locale évite un aller-retour réseau, et les fonctionnalités continuent de fonctionner dans un train ou dans un magasin avec un mauvais signal. Mesurez-le comme la latence et le taux de complétion, pas comme un avantage vague.
Quels KPI prouvent la valeur ?
Choisissez une courte liste et suivez-la dès le lancement. Trop de métriques cachent le signal.
- Part des requêtes de fonctionnalités servies sur appareil par rapport au secours cloud.
- Dépenses d’inférence cloud par mois pour la fonctionnalité, avant et après.
- Temps de réponse médian sur appareil par rapport au chemin cloud.
- Adoption de la fonctionnalité et utilisation répétée parmi les utilisateurs pris en charge.
- Taux de réussite des tâches à partir des commentaires des utilisateurs ou d’un petit échantillon d’examen manuel.
Si l’adoption est faible, les économies de coûts sont hors de propos. Traitez l’utilisation comme la première porte, puis regardez l’argent.
Comment Alien Road applique l’IA sur appareil dans les projets d’optimisation
Un engagement typique commence par un audit des fonctionnalités d’IA existantes du client et de leurs factures cloud. L’équipe marque les tâches qui sont courtes, fréquentes et sensibles à la confidentialité, car ce sont les meilleures candidates pour les modèles locaux. La génération longue et les tâches de recherche restent dans le cloud.
Pendant la configuration, l’équipe travaille aux côtés des développeurs du client pour définir des secours et un ensemble d’évaluation : quelques centaines d’entrées réelles et anonymisées avec des résultats bons convenus. Le chemin sur appareil et le chemin cloud sont tous deux notés par rapport au même ensemble, de sorte que la qualité est comparée sur la base de preuves plutôt que d’impressions.
La mesure s’exécute via la pile d’analyse du client, généralement Firebase ou un outil d’analyse de produit, avec des événements pour quel chemin a servi chaque requête. Le rapport mensuel montre la couverture de l’appareil, les dépenses économisées, la latence et les scores de qualité côte à côte, plus une recommandation sur l’opportunité d’étendre le traitement sur appareil à la fonctionnalité suivante ou de le garder là où il est.
Quand l’IA sur appareil est-elle le mauvais choix ?
Certaines situations plaident contre. Être clair à leur sujet fait partie d’un cas de ROI honnête.
- Fonctionnalités à faible volume, où les frais cloud sont déjà triviaux.
- Publics sur du matériel plus ancien ou économique, où la couverture serait faible pendant des années.
- Tâches nécessitant des informations actuelles ou de grandes fenêtres de contexte.
- Sites web marketing sans application, où la prise en charge par le navigateur des modèles intégrés est encore expérimentale.
Dans ces cas, un modèle cloud bien choisi avec mise en cache est généralement moins cher dans l’ensemble.
Par où commencer cette semaine
Exportez la facture cloud liée à l’IA du mois dernier et listez les fonctionnalités derrière elle. Pour chacune, notez le volume de requêtes et la longueur de l’entrée typique. Les tâches courtes, fréquentes et privées vont sur une liste restreinte.
Ensuite, vérifiez vos analyses pour la part des utilisateurs sur des appareils prenant en charge Apple Intelligence ou Gemini Nano. Multipliez les deux et vous avez une première estimation du montant des dépenses qu’un chemin sur appareil pourrait déplacer. Si le nombre est petit, arrêtez-vous là. S’il est grand, un prototype de deux semaines avec un ensemble d’évaluation est la prochaine étape sensée.
Continuez à lire : Optimisation par IA · Optimisation par IA