Les erreurs les plus courantes avec les petits modèles de langage sont d’en choisir un pour une tâche nécessitant un raisonnement large, de sauter l’évaluation sur des données réelles, d’ignorer les termes de licence et de supposer que l’utilisation sur l’appareil ou l’auto-hébergement signifie automatiquement privé et bon marché. Les agences les évitent en définissant une tâche étroite, en testant les petits et grands modèles côte à côte, en vérifiant les licences et en mesurant le coût total, y compris la maintenance.
Les petits modèles de langage (SLM) sont des modèles de langage avec relativement peu de paramètres, allant grossièrement de moins d’un milliard à quelques milliards, assez petits pour fonctionner sur un seul GPU, un ordinateur portable ou même un téléphone. Les exemples incluent la famille Phi de Microsoft, Gemma de Google, les variantes plus petites de Llama et Qwen, et les modèles compacts de Mistral. Ils échangent l’ampleur contre la vitesse, le faible coût et la possibilité de les exécuter là où les données résident déjà.
À quoi servent les petits modèles de langage ?
Les SLM excellent dans les tâches étroites et répétitives avec des entrées et des sorties claires. La classification, l’extraction d’entités, les résumés courts, le routage d’une demande vers la bonne file d’attente et la réécriture de texte dans un format fixe en sont de bons exemples. Ajusté sur quelques milliers d’exemples spécifiques à la tâche, un petit modèle peut égaler un modèle général beaucoup plus grand sur ce travail.
Ils conviennent également aux environnements où les données ne peuvent pas quitter un appareil ou un réseau privé, et aux produits où la latence compte, comme l’autocomplétion ou le marquage en temps réel.
Erreur un : un SLM peut-il gérer le raisonnement ouvert ?
Les petits modèles ont du mal avec le raisonnement long en plusieurs étapes, les connaissances générales étendues et les instructions complexes. Demander à l’un d’eux d’écrire un plan marketing stratégique ou d’analyser un long contrat produit généralement un résultat fluide mais superficiel avec plus d’erreurs factuelles qu’un grand modèle n’en ferait.
Les agences définissent d’abord la portée de la tâche. Si la description de la tâche nécessite plus de quelques phrases d’instructions, ou si la réponse correcte dépend de connaissances générales étendues, un modèle plus grand est probablement le meilleur choix. Les configurations hybrides fonctionnent bien : un petit modèle gère le routage et les cas simples, un grand modèle gère le reste.
Erreur deux : pourquoi faire confiance aux benchmarks plutôt qu’à vos propres données ?
Les benchmarks publiés mesurent les capacités générales sur des jeux de données publics. Votre tâche, avec votre terminologie et vos entrées désordonnées, peut se comporter très différemment. Les équipes choisissent le modèle avec le meilleur score au classement et découvrent en production qu’il lit mal leurs codes produits.
- Collectez 100 à 300 exemples réels avec des sorties correctes.
- Testez deux ou trois petits modèles et un grand modèle sur le même ensemble.
- Notez avec des mesures spécifiques à la tâche : précision, exactitude au niveau du champ, validité du format.
- Incluez des cas difficiles : entrées longues, langues mixtes, éléments ambigus.
- Relancez l’ensemble après chaque changement de modèle ou de prompt.
Erreur trois : le poids ouvert est-il toujours gratuit à utiliser ?
Le poids ouvert ne signifie pas toujours gratuit pour toute utilisation. Certaines licences de modèles restreignent l’utilisation commerciale au-delà d’un certain nombre d’utilisateurs, exigent une attribution ou incluent des politiques d’utilisation acceptable. D’autres utilisent des licences permissives comme Apache 2.0. Lisez la licence sur la carte du modèle pour la version exacte que vous déployez, et gardez-en une trace.
C’est le plus important lorsque vous créez un produit pour des clients ou intégrez le modèle dans un logiciel que vous distribuez. Un problème de licence découvert après le lancement est coûteux à corriger.
Erreur quatre : l’auto-hébergement est-il toujours bon marché et privé ?
Exécuter un petit modèle vous-même supprime les frais d’API par jeton, mais ajoute de l’infrastructure, de la surveillance, des mises à jour et du temps d’ingénierie. À faible volume, une API hébergée pour un petit modèle est souvent moins chère dans l’ensemble. À volume élevé et constant, l’auto-hébergement peut être gagnant. Calculez les deux.
La confidentialité dépend également de la configuration. Un modèle sur votre serveur n’est privé que si les journaux, les sauvegardes et les contrôles d’accès sont gérés correctement. Un modèle auto-hébergé qui écrit chaque prompt dans un fichier journal non sécurisé est moins privé qu’une API bien configurée avec des conditions contractuelles appropriées.
Compromis de quantification
Les versions quantifiées, par exemple les formats 4 bits utilisés par des outils comme llama.cpp et Ollama, réduisent les besoins en mémoire et accélèrent l’inférence. Ils peuvent également réduire la précision sur certaines tâches. Testez le modèle quantifié que vous déploierez réellement, pas seulement la version en pleine précision.
Erreur cinq : pas de plan pour les mises à jour et la dérive
Les entrées changent. De nouvelles gammes de produits, de nouveaux argots et de nouvelles langues apparaissent. Un petit modèle ajusté il y a un an peut se dégrader silencieusement. Les agences planifient une réévaluation périodique sur des échantillons frais et gardent les pipelines de données d’entraînement prêts pour le réentraînement.
De nouveaux petits modèles apparaissent également fréquemment. Une comparaison trimestrielle avec les meilleurs petits modèles actuels vous évite d’exécuter un modèle obsolète par habitude.
Erreur six : pas de chemin de repli
Les petits modèles échouent sur des entrées inhabituelles plus souvent que les grands. Sans repli, ces échecs atteignent les utilisateurs ou les systèmes en aval. Les agences ajoutent une vérification de confiance, telle qu’une validation de format, un seuil de probabilité sur la classification ou une règle simple, et envoient les cas incertains vers un modèle plus grand ou une personne.
Enregistrez chaque repli avec la raison. Si une catégorie d’entrée continue de se replier, c’est un signal pour ajouter des exemples d’entraînement pour elle ou pour accepter que la tâche nécessite un modèle plus grand. Au fil du temps, le taux de repli devient l’une des mesures de santé les plus utiles dont vous disposez.
- Validez le format de sortie dans le code avant de l’utiliser.
- Définissez un seuil de confiance pour les classifications.
- Acheminez les cas incertains vers un modèle plus grand ou un réviseur.
- Enregistrez chaque repli avec sa raison et examinez le journal mensuellement.
Comment Alien Road applique les petits modèles de langage
Dans un engagement typique, la découverte définit une tâche étroite, comme le marquage des prospects entrants par intérêt de service ou l’extraction de champs à partir de feuilles de fournisseurs, et rassemble des exemples réels. Nous vérifions la sensibilité et le volume des données pour voir si un petit modèle est la bonne direction.
La configuration comprend une évaluation comparative des petits et grands modèles, une revue des licences, un choix de déploiement entre hébergé et auto-hébergé et, là où c’est utile, un ajustement LoRA. La mesure suit la précision sur un ensemble de test fixe, la latence et le coût total par millier d’éléments. Les rapports mensuels montrent ces chiffres ainsi que des vérifications de dérive sur des échantillons frais, avec une note claire lorsqu’un changement de modèle ou un réentraînement est dû.
Par où commencer cette semaine
Choisissez une tâche textuelle répétitive que votre équipe gère à la main. Collectez cent exemples réels avec les bonnes réponses. Exécutez-les via un petit modèle, par exemple via Ollama sur un ordinateur portable, et via un grand modèle hébergé. Comparez la précision et la vitesse ; l’écart vous dira si un petit modèle vaut la peine d’être poursuivi.
Continuez à lire : Optimisation par IA · Optimisation par IA