Les petits modèles de langage sont des modèles d’IA compacts, généralement dotés de quelques milliards de paramètres ou moins, qui fonctionnent plus rapidement et à moindre coût que les grands modèles de pointe et peuvent souvent être déployés sur un seul serveur, un ordinateur portable ou même un téléphone. Le passage du projet pilote à la production nécessite une tâche précise, un ensemble de test étiqueté, une comparaison équitable avec un modèle plus grand, un plan de déploiement et une surveillance continue.
Les exemples incluent la famille Phi de Microsoft, Gemma de Google, les petits modèles Llama de Meta, les petits modèles de Mistral et les modèles Qwen d’Alibaba dans des tailles compactes. Beaucoup sont publiés avec des poids ouverts, ce qui signifie que vous pouvez les télécharger et les exécuter vous-même selon leurs conditions de licence.
Pourquoi choisir un petit modèle plutôt qu’un grand ?
Les grands modèles sont plus performants en matière de raisonnement complexe et de connaissances étendues. Les petits modèles gagnent sur d’autres dimensions.
- Coût : moins de ressources par requête, ce qui est important en cas de volume élevé.
- Vitesse : latence plus faible, utile pour les fonctionnalités en temps réel.
- Confidentialité : peut être exécuté sur vos propres serveurs ou appareils, de sorte que les données ne quittent jamais votre environnement.
- Contrôle : versions de modèle fixes qui ne changent pas à moins que vous ne les mettiez à jour.
- Réglage fin (Fine-tuning) : moins cher à adapter à vos propres données et étiquettes.
Le compromis est la capacité. Les petits modèles font plus d’erreurs sur les tâches ouvertes, les longs documents et l’écriture nuancée. Ils fonctionnent mieux sur des tâches ciblées.
Phase 1 : Choisir la bonne tâche
Les bonnes tâches pour les petits modèles sont étroites, répétitives et vérifiables. La classification, l’extraction et la génération structurée courte sont typiques.
Candidats solides
- Classer les tickets de support, les avis ou les termes de recherche dans des catégories fixes.
- Extraire les attributs de produit à partir des descriptions des fournisseurs.
- Détecter la langue, le spam ou les données personnelles dans le texte.
- Générer de courtes méta-descriptions à partir de données de produits structurées.
- Acheminer les messages entrants vers la bonne équipe.
Les candidats faibles incluent la rédaction d’articles longs, les questions de stratégie complexes et les tâches nécessitant des connaissances mondiales à jour.
Phase 2 : Créer un ensemble de test avant de tester les modèles
Un ensemble de test est une collection d’entrées réelles avec des réponses correctes étiquetées par des personnes. Sans lui, le choix du modèle devient une supposition.
- Collectez 200 à 500 exemples réels couvrant les cas courants et difficiles.
- Demandez à deux personnes de les étiqueter indépendamment et résolvez les désaccords.
- Incluez les cas limites : entrées très courtes, langues mixtes, fautes de frappe et messages non pertinents.
- Gardez l’ensemble de test séparé de toute donnée utilisée pour le réglage fin.
Phase 3 : Comparer équitablement les petits et les grands modèles
Exécutez l’ensemble de test via deux ou trois petits modèles et un grand modèle via une API. Utilisez le même prompt et le même format de sortie pour chacun. Mesurez la précision, le coût par millier de requêtes et le temps de réponse.
Souvent, un petit modèle atteint une précision acceptable sur une tâche étroite, surtout avec un bon prompt et quelques exemples. S’il est insuffisant, un réglage fin sur quelques milliers d’exemples étiquetés peut combler l’écart. S’il est encore loin derrière, la tâche peut nécessiter un modèle plus grand.
Phase 4 : Décider où le modèle s’exécute
Il existe trois options courantes, chacune avec des compromis.
- API gérée : des fournisseurs tels que Google, Mistral ou les places de marché cloud proposent des petits modèles en tant que service. Le plus simple pour commencer, mais les données quittent votre environnement.
- Serveur auto-hébergé : exécutez le modèle sur une VM cloud ou un GPU sur site à l’aide d’outils comme vLLM, Ollama ou Hugging Face Text Generation Inference. Plus de contrôle, plus de travail opérationnel.
- Sur l’appareil : modèles s’exécutant dans des navigateurs ou des applications, par exemple via ONNX Runtime ou des frameworks spécifiques à la plateforme. Idéal pour la confidentialité et l’utilisation hors ligne, limité par la puissance de l’appareil.
Vérifiez la licence du modèle. Poids ouvert ne signifie pas toujours une utilisation commerciale sans restriction ; lisez les conditions pour chaque modèle.
Phase 5 : Liste de contrôle pour la production
Avant le lancement
- Validation de la sortie : rejetez les réponses qui ne correspondent pas aux étiquettes ou aux formats autorisés.
- Repli (Fallback) : acheminez les résultats incertains ou invalides vers un modèle plus grand ou un humain.
- Journalisation (Logging) : enregistrez les entrées, les sorties et la confiance pour examen, dans le respect des règles de confidentialité.
- Test de charge : confirmez que le serveur gère le volume de pointe dans les limites de votre objectif de latence.
- Sécurité : restreignez l’accès au point de terminaison du modèle et protégez les journaux contenant du texte client.
Après le lancement
- Examen hebdomadaire des échantillons par rapport aux étiquettes humaines.
- Surveillance de la dérive : soyez attentif aux nouvelles catégories ou aux nouveaux modèles linguistiques sur lesquels le modèle n’a pas été testé.
- Contrôle de version : enregistrez quelle version du modèle et quel prompt ont produit chaque résultat.
- Réévaluation programmée lorsque vous modifiez les prompts, les modèles ou les données de réglage fin.
Quelles erreurs ralentissent les projets de petits modèles ?
La première est de choisir un modèle uniquement sur la base de benchmarks publics. Les benchmarks mesurent des compétences générales ; votre tâche peut se comporter différemment. La seconde est de sauter la validation, ce qui permet à des réponses mal formées occasionnelles de casser les systèmes en aval. La troisième est de sous-estimer le travail opérationnel pour l’auto-hébergement : les mises à jour, la surveillance et la disponibilité des GPU prennent du temps.
Comment savoir si le modèle est prêt ?
Fixez la barre d’acceptation avant de tester, pas après avoir vu les résultats. Pour une tâche de classification, cela pourrait être un accord avec des étiquettes humaines proche du niveau que deux humains atteignent entre eux, un coût par millier d’éléments inférieur à la méthode actuelle et une latence adaptée au flux de travail. Si le modèle répond aux trois sur l’ensemble de test et sur un échantillon récent du mois dernier, il est prêt pour un lancement limité. S’il en remplit deux, décidez si celui qui manque peut être corrigé avec des prompts, un réglage fin ou une règle de repli avant d’aller plus loin.
Comment Alien Road applique les petits modèles de langage
Dans un engagement typique, la découverte répertorie les tâches lourdes en texte dans les opérations de marketing et de service du client, telles que l’étiquetage des avis, la classification des termes de recherche et l’extraction de données de produits, et estime leur volume mensuel. Les tâches étroites à fort volume avec des problèmes de confidentialité sont les candidats habituels.
La configuration commence par un ensemble de test étiqueté à partir des données réelles du client, suivi d’une comparaison des petits et grands modèles en termes de précision, de coût et de vitesse. Si un petit modèle gagne, nous choisissons entre une API gérée et l’auto-hébergement en fonction de la sensibilité et du volume des données, et nous construisons des règles de validation et de repli.
Pour la mesure, nous suivons la précision par rapport aux étiquettes humaines fraîches chaque mois, le coût par millier d’éléments et la latence. Les rapports incluent les cas d’erreur trouvés, afin que le client puisse voir où le modèle est fiable et où les humains ou un modèle plus grand interviennent encore.
Par où commencer cette semaine
Choisissez une tâche de classification que votre équipe effectue manuellement, comme le tri des messages clients en cinq catégories. Étiquetez 200 exemples récents avec un collègue. Essayez ensuite un petit modèle ouvert localement avec Ollama ou via un terrain de jeu hébergé, en utilisant un prompt clair et la liste de catégories fixe. Comparez ses réponses avec vos étiquettes. Le taux d’accord vous dira si un petit modèle vaut la peine d’être testé correctement.
Continuer la lecture : Optimisation par IA · Optimisation par IA