Les petits modèles de langage sont des modèles d’IA compacts, généralement dotés de quelques milliards de paramètres ou moins, qui peuvent fonctionner sur un ordinateur portable, un téléphone ou un serveur modeste. Leurs principaux risques pour une équipe marketing sont une précision moindre sur les tâches complexes, des erreurs assurées sur des faits et des langues qu’ils maîtrisent mal, ainsi que des copies non gérées se propageant sur les appareils. La gouvernance doit les limiter à des tâches étroites et testables, exiger une évaluation avant utilisation et suivre l’endroit où chaque modèle s’exécute.
Les exemples incluent la famille Phi de Microsoft, Gemma de Google, les variantes plus petites de Llama de Meta, les petits modèles de Mistral, les petites versions de Qwen d’Alibaba et les modèles qui s’exécutent sur les téléphones tels que Gemini Nano et le modèle de base sur appareil d’Apple. Des outils comme Ollama, LM Studio et llama.cpp facilitent leur téléchargement et leur exécution sur un ordinateur personnel.
Leur attrait est clair : faible coût par tâche, réponses rapides, possibilité de garder les données entièrement en interne et capacité à les affiner à moindre coût pour un travail spécifique. Ces avantages sont réels. Les limites le sont aussi.
Où les petits modèles sont-ils performants ?
Les petits modèles fonctionnent bien sur des tâches étroites et bien définies. Classer les messages de support en catégories, extraire des champs de formulaires, étiqueter les avis sur les produits par sujet, réécrire des textes courts dans un style fixe et prendre des décisions de routage simples sont autant de bons exemples.
Ils fonctionnent également bien lorsqu’ils sont affinés. Un petit modèle entraîné sur quelques milliers d’exemples d’une tâche spécifique peut égaler ou surpasser un grand modèle général sur cette tâche, pour une fraction du coût d’exploitation.
Quelles sont leurs limites ?
Raisonnement et long contexte
Les petits modèles ont du mal avec le raisonnement en plusieurs étapes, les longs documents et les tâches qui nécessitent de retenir de nombreux faits à la fois. Demander à l’un d’eux d’analyser un rapport de campagne et de recommander des changements budgétaires produit généralement des conseils superficiels ou erronés.
Connaissances et faits
Avec moins de paramètres, ils stockent moins de connaissances sur le monde. Ils sont plus susceptibles d’inventer des faits, des noms et des chiffres, surtout sur des sujets de niche, et de le faire avec fluidité.
Langues
De nombreux petits modèles sont entraînés principalement en anglais. La qualité en turc, en azerbaïdjanais ou dans d’autres langues peut être nettement inférieure, avec des erreurs grammaticales ou des traductions littérales. Testez chaque langue séparément.
Réglage de sécurité
Les petits modèles peuvent avoir un réglage de sécurité et de refus plus faible que les grands modèles commerciaux. Ils peuvent produire du contenu inapproprié plus facilement s’ils sont mal sollicités ou par un utilisateur malveillant.
Quels risques nécessitent une gouvernance ?
Déploiements fantômes
Comme n’importe qui peut télécharger un modèle et l’exécuter sur un ordinateur portable, les équipes peuvent commencer à les utiliser sans que l’informatique ne le sache. Les données client collées dans un modèle local peuvent rester privées, mais les sorties peuvent être utilisées sans examen, et personne ne sait quelle version du modèle a produit quoi.
Conditions de licence
Les petits modèles sont soumis à différentes licences. Certaines sont permissives comme Apache 2.0, d’autres ont des conditions personnalisées avec des restrictions d’utilisation. Utiliser un modèle commercialement sans vérifier sa licence est un risque juridique.
Sorties non validées
Un petit modèle qui classe des prospects ou des tickets de support peut en acheminer une partie de manière erronée sans bruit. Sans ensemble d’évaluation et sans surveillance, les erreurs ne se manifestent que sous forme de plaintes.
Chaîne d’approvisionnement des modèles
Les modèles téléchargés à partir de hubs publics peuvent être des versions modifiées. Utilisez des sources officielles et vérifiez les éditeurs. Les fichiers de modèle dans certains formats plus anciens peuvent même transporter du code exécutable, c’est pourquoi les formats plus sûrs comme safetensors sont préférés.
Quelles règles de gouvernance doivent être prioritaires ?
- Liste approuvée : nommez les modèles autorisés pour un usage professionnel, leur source officielle et leur licence.
- Approbation des cas d’utilisation : chaque nouveau cas d’utilisation est décrit dans un paragraphe et approuvé par un propriétaire.
- Évaluation avant utilisation : testez chaque modèle sur au moins cinquante exemples réels par tâche et par langue, avec un seuil d’acceptation.
- Pas de sortie non examinée destinée au client : tout ce qu’un client voit est examiné ou limité à des modèles sûrs.
- Règles de données : quelles données peuvent être traitées, où le modèle s’exécute et comment les journaux sont conservés.
- Suivi des versions : enregistrez le nom du modèle et la version utilisée pour chaque flux de travail.
- Retester en cas de changement : lorsqu’un modèle est mis à jour ou remplacé, relancez l’ensemble d’évaluation.
Quand devriez-vous choisir un modèle plus grand à la place ?
Choisissez un modèle plus grand lorsque la tâche implique du raisonnement, de longs documents, une écriture ouverte que les clients liront ou de nombreuses langues de haute qualité. Une conception courante utilise les deux : un petit modèle pour une classification et un routage rapides, et un modèle plus grand pour les cas que le petit modèle signale comme incertains.
Le coût seul est une faible raison de choisir un petit modèle si les erreurs créent du retravail. Comparez le coût total, y compris l’examen et la correction, pas seulement le prix du jeton.
Comment Alien Road applique les petits modèles de langage
Dans un engagement typique, les petits modèles apparaissent dans les tâches de données et d’opérations plutôt que dans la rédaction de contenu. La découverte identifie des tâches étroites à fort volume telles que l’étiquetage des avis, le tri des messages entrants ou l’extraction de champs à partir de formulaires de prospects, et vérifie les langues impliquées.
La configuration utilise un modèle approuvé provenant d’une source officielle, exécuté soit via un hôte géré, soit sur l’infrastructure du client avec Ollama ou vLLM. Nous construisons un ensemble d’évaluation à partir des propres données du client, comparons le petit modèle avec un plus grand et enregistrons les résultats. Si le petit modèle atteint la précision convenue, il entre dans le flux de travail avec un repli vers un modèle plus grand ou une personne pour les cas incertains.
La mesure suit la précision sur un échantillon hebdomadaire, le taux de repli et le coût par tâche. Les rapports montrent ces éléments au fil du temps et signalent toute dérive, telle qu’une baisse de précision après un changement dans les données entrantes.
Comment surveiller un petit modèle après le lancement ?
L’évaluation avant le lancement ne suffit pas, car les données entrantes changent. Une nouvelle gamme de produits, une campagne dans une nouvelle langue ou un changement saisonnier dans les questions des clients peuvent pousser un petit modèle en dehors de ce qu’il gère bien. Échantillonnez un ensemble de sorties chaque semaine et demandez à une personne de les noter selon la même norme que celle utilisée lors de l’évaluation initiale.
Surveillez également le taux de repli. Si davantage de cas sont transmis à un modèle plus grand ou à une personne, le petit modèle est en difficulté, même si l’échantillon noté semble correct.
Par où commencer cette semaine
Listez tous les endroits où votre équipe utilise actuellement l’IA et notez quels modèles se cachent derrière, y compris tout ce qui s’exécute localement sur des ordinateurs portables. Vous pourriez trouver des petits modèles déjà utilisés sans approbation.
Ensuite, choisissez une tâche étroite à fort volume et construisez un ensemble de test de cinquante exemples à partir de données réelles. Exécutez un petit et un grand modèle dessus et comparez la précision et le coût. Cette comparaison unique vous indique si un petit modèle a sa place dans votre flux de travail.
Continuer la lecture : Optimisation par IA · Optimisation par IA