Les petits modèles de langage sont des modèles d’IA compacts, généralement avec quelques milliards de paramètres ou moins, qui fonctionnent rapidement et à moindre coût, parfois directement sur un ordinateur portable ou un téléphone. Pour les marketeurs, ils conviennent aux tâches étroites et répétitives telles que l’étiquetage de contenu, la classification de leads, la rédaction de variantes courtes de textes et le résumé d’avis, là où le raisonnement supplémentaire d’un grand modèle ajoute des coûts sans apporter beaucoup de valeur.
Qu’est-ce qui compte comme un petit modèle de langage ?
Il n’y a pas de limite officielle, mais le terme couvre généralement les modèles allant de moins d’un milliard à environ dix milliards de paramètres. Les exemples incluent la famille Phi de Microsoft, Gemma de Google, les variantes plus petites de Llama de Meta, les modèles compacts de Mistral et les petites versions de Qwen. Apple et Google proposent également des modèles sur appareil dans leurs systèmes d’exploitation.
Les grands modèles de pointe, en revanche, sont beaucoup plus volumineux et ne fonctionnent généralement que dans le centre de données d’un fournisseur. L’écart entre les deux s’est réduit. Les petits modèles bien entraînés gèrent désormais bien de nombreuses tâches linguistiques quotidiennes, bien qu’ils soient encore à la traîne en matière de raisonnement long, de connaissances générales étendues et d’instructions complexes.
Pourquoi une équipe marketing devrait-elle s’y intéresser ?
Trois raisons : coût, vitesse et confidentialité. Un petit modèle coûte une fraction par requête, répond en un clin d’œil et peut fonctionner sur du matériel que vous contrôlez, de sorte que les données client n’ont pas besoin de quitter vos systèmes.
Cela compte lorsque le volume est élevé. Étiqueter 50 000 commentaires de blog ou e-mails de support avec un grand modèle est possible, mais c’est lent et la facture grimpe rapidement. Un petit modèle entraîné ou sollicité pour cette tâche unique le fait souvent assez bien.
Quelles tâches marketing conviennent aux petits modèles ?
Le modèle est simple : entrée courte, format de sortie clair, domaine étroit. Si vous pouvez décrire la bonne réponse en une phrase, un petit modèle vaut la peine d’être testé.
- Trier les leads entrants dans des catégories telles que la fourchette budgétaire, l’intérêt pour le service ou la langue
- Étiqueter les avis par sujet et sentiment pour une équipe produit
- Écrire de nombreuses variantes courtes d’un titre d’annonce à partir d’un brief fixe
- Extraire des attributs de produits tels que la couleur, la taille et le matériau à partir du texte du fournisseur
- Résumer les transcriptions d’appels en trois points clés pour une note CRM
- Détecter la langue d’un message et l’acheminer vers la bonne équipe
Tâches à conserver sur des modèles plus grands : articles longs, documents de stratégie, recherche en plusieurs étapes et tout ce qui nécessite des faits à jour ou un raisonnement minutieux sur de nombreuses sources.
Comment les petits modèles échouent-ils ?
Ils échouent silencieusement. Un petit modèle produira souvent un texte confiant qui est faux, surtout lorsqu’on l’interroge sur des faits qu’il n’a jamais appris. Il peut également ignorer des parties d’une longue instruction ou briser un format de sortie requis.
Signes courants d’échec
- Inventer des détails de produit qui ne figurent pas dans le texte source
- Supprimer un champ d’une sortie JSON lorsque l’entrée est inhabituelle
- Changer de langue au milieu de la réponse sur des entrées multilingues
- Performances faibles en turc, azerbaïdjanais ou d’autres langues avec moins de données d’entraînement
La solution consiste à restreindre davantage la tâche, à donner deux ou trois exemples dans le prompt et à valider les sorties avec du code. Si un champ doit être l’une des cinq valeurs, vérifiez-le automatiquement et envoyez les échecs à une personne.
Faut-il affiner (fine-tune) un petit modèle ?
L’affinage signifie entraîner le modèle un peu plus sur vos propres exemples. Pour les petits modèles, c’est abordable et c’est souvent l’étape qui transforme un résultat faible en un bon résultat. Quelques centaines à quelques milliers d’exemples propres peuvent apprendre à un modèle vos catégories et votre ton.
Avant d’affiner, essayez d’abord un bon prompt avec des exemples. Si la précision n’est toujours pas au niveau dont vous avez besoin, collectez des données réelles étiquetées à partir du travail passé de votre équipe. Des techniques comme LoRA rendent l’affinage suffisamment bon marché pour être exécuté sur un seul GPU loué. Gardez un ensemble de test de côté afin de pouvoir prouver que le modèle affiné est meilleur.
Comment choisir entre le cloud et l’appareil ?
Exécuter un petit modèle dans le cloud via un fournisseur comme Hugging Face Inference, Amazon Bedrock ou Google Vertex AI est le début le plus simple. L’exécuter sur votre propre serveur ou ordinateur portable avec des outils comme Ollama ou LM Studio offre un contrôle total et aucun frais par requête.
- Cloud : démarrage rapide, évolutivité à la demande, les données vont au fournisseur selon ses conditions
- Propre serveur : coût fixe, les données restent à l’intérieur, nécessite quelqu’un pour le maintenir
- Sur appareil dans une application : coût de serveur nul et utilisation hors ligne, mais limité par le matériel de l’utilisateur
Pour la plupart des équipes marketing, la voie du cloud est le bon premier pas. Passez à l’auto-hébergement uniquement lorsque le volume ou les règles de données le justifient.
Comment Alien Road applique les petits modèles de langage
Dans une mission typique, nous auditons où l’équipe du client utilise déjà de grands modèles et signalons les tâches répétitives qui pourraient être transférées vers un modèle plus petit. L’étiquetage des leads et la classification des avis sont les plus fréquents.
Nous construisons un ensemble de test étiqueté à partir des propres données du client, testons deux ou trois petits modèles par rapport au grand modèle actuel et comparons la précision et le coût par requête. Si un petit modèle atteint la barre, nous le déployons derrière une couche de validation simple qui vérifie les formats et achemine les cas peu clairs vers un humain ou un modèle plus grand.
Les rapports couvrent la précision sur un échantillon mensuel, la part des cas envoyés au repli et le coût par millier de requêtes. Le client voit exactement où le petit modèle aide et où il ne le fait pas.
Combien coûte l’exécution d’un petit modèle ?
Les prix exacts changent souvent, alors traitez tout chiffre comme un instantané. Le modèle général reste cependant le suivant : les tarifs par jeton pour les petits modèles hébergés sont généralement une petite fraction des tarifs des modèles de pointe, et un ordinateur portable exécutant un modèle local ne coûte rien par requête une fois configuré.
Le coût caché, ce sont les personnes. Quelqu’un doit écrire le prompt, construire l’ensemble de test, vérifier les résultats et mettre à jour la configuration lorsque la tâche change. Prévoyez quelques jours de travail pour un premier pilote et quelques heures par mois après cela. Si une tâche n’est pas exécutée assez souvent pour rentabiliser ce temps, laissez-la sur le grand modèle que vous utilisez déjà.
Par où commencer cette semaine
Choisissez une tâche de tri ou d’étiquetage que votre équipe fait à la main. Exportez 200 exemples passés avec les bonnes étiquettes. Installez Ollama sur un ordinateur portable, chargez un petit modèle comme une variante de Gemma ou Phi, et testez-le avec un court prompt et trois exemples. Mesurez combien il en réussit. S’il dépasse 85 à 90 pour cent sur vos propres données, planifiez un petit pilote ; sinon, vous avez appris à moindre coût que la tâche nécessite un modèle plus grand.
Continuer la lecture : Optimisation par IA · Optimisation par IA