Les petits modèles de langage sont des modèles d’IA avec beaucoup moins de paramètres que les systèmes de pointe, généralement quelques milliards au lieu de centaines de milliards, ce qui leur permet de fonctionner rapidement sur des serveurs modestes, des ordinateurs portables ou même des téléphones. Les exemples incluent la famille Phi de Microsoft, Gemma de Google, les modèles Llama plus petits de Meta, les petits modèles de Mistral et Qwen. Pour les marques de commerce électronique, ils conviennent aux tâches à haut volume et restreintes où la vitesse, le coût et la confidentialité des données importent plus qu’une connaissance étendue.
Qu’est-ce qui compte comme un petit modèle de langage ?
Il n’y a pas de limite officielle, mais le terme couvre généralement les modèles de moins de dix à quinze milliards de paramètres environ. Beaucoup sont publiés avec des poids ouverts, vous pouvez donc les héberger vous-même. Certains, comme Gemini Nano et les modèles sur appareil d’Apple, fonctionnent directement sur les téléphones.
Les modèles plus petits connaissent moins de choses sur le monde et gèrent moins bien le raisonnement long et complexe. Ils compensent cela par la vitesse et le coût. Un petit modèle peut répondre en une fraction de seconde sur du matériel peu coûteux à faire fonctionner, ce qui est important lorsque vous traitez des millions de requêtes de recherche ou d’enregistrements de produits.
Quelles tâches de commerce électronique conviennent aux petits modèles ?
Le modèle est le même pour la plupart des bonnes utilisations : entrée claire, ensemble limité de sorties possibles et volume très élevé. Lorsque la tâche nécessite une écriture créative ou une large connaissance générale, un modèle plus grand est généralement le meilleur choix.
- Compréhension des requêtes dans la recherche sur le site : mapper “baskets noires pas chères taille 42” aux filtres de couleur, de prix et de taille.
- Étiquetage des produits : attribution de catégories et d’attributs à partir des titres et des descriptions.
- Modération des avis : signalement du spam, des abus ou des données personnelles avant publication.
- Routage du support : classification des messages entrants par sujet et urgence.
- Génération de texte court dans des modèles stricts, tels que des étiquettes de filtre ou du texte d’extrait.
- Correction orthographique et gestion des synonymes pour les langues locales.
Pourquoi choisir un petit modèle plutôt qu’un grand ?
Coût à l’échelle
Les grands modèles hébergés facturent par jeton. Pour une tâche qui s’exécute à chaque recherche ou à chaque nouveau produit, cela s’additionne rapidement. Un petit modèle auto-hébergé a un coût de serveur fixe, peu importe le nombre de fois où il s’exécute.
Vitesse
La recherche et l’autocomplétion ont besoin de réponses en millisecondes. Un petit modèle sur un serveur proche peut répondre assez rapidement pour se trouver dans la zone de recherche. Un grand modèle appelé via Internet ne le peut souvent pas.
Confidentialité
Les messages des clients et les données de commande peuvent rester sur votre propre infrastructure. Pour les marques traitant des données sous le RGPD ou la KVKK turque, cela simplifie les accords de traitement des données et les questions de transfert.
Comment rendre un petit modèle performant pour votre tâche ?
Prêt à l’emploi, un petit modèle peut être médiocre pour votre travail exact. Trois techniques comblent la plupart des lacunes et peuvent être combinées.
- Prompts clairs avec des exemples et un format de sortie fixe, comme JSON avec des valeurs autorisées.
- Fine-tuning ou LoRA sur quelques milliers de vos propres exemples étiquetés.
- Distillation : utiliser un grand modèle pour étiqueter les données, puis entraîner le petit modèle sur ces étiquettes.
- Récupération (Retrieval) : donner au modèle vos données produit ou vos articles d’aide au moment de la réponse.
- Décodage contraint, où le moteur d’inférence n’autorise que les sorties de votre liste.
La distillation est particulièrement pratique. Vous payez un grand modèle une fois pour étiqueter un ensemble d’entraînement, vérifiez un échantillon à la main, puis exécutez le petit modèle bon marché pour toujours.
Quelles sont les limites ?
Les petits modèles font plus d’erreurs factuelles et sont plus sensibles à la formulation d’un prompt. Ils peuvent avoir des difficultés avec les langues qui étaient rares dans leurs données d’entraînement ; testez soigneusement en turc, azerbaïdjanais ou russe avant de vous y fier.
L’auto-hébergement signifie également que vous êtes responsable de la disponibilité, des mises à jour et de la sécurité. Si personne dans l’équipe ne peut maintenir un serveur, utilisez un hébergeur géré qui propose de petits modèles ouverts via une API, ce qui coûte toujours beaucoup moins cher que les modèles de pointe pour le même volume.
Comment Alien Road applique les petits modèles de langage
Notre équipe d’optimisation de l’IA recherche des emplois où le volume est élevé et la sortie est une étiquette ou une courte réponse structurée. L’analyse des requêtes de recherche et l’étiquetage des produits sont les points de départ les plus courants.
La configuration suit généralement une voie de distillation : un grand modèle étiquette un échantillon, les merchandisers du client le corrigent et un petit modèle est ajusté sur l’ensemble corrigé. Nous l’hébergeons là où les règles de données du client l’exigent, souvent sur un serveur de l’UE ou local.
La mesure compare le petit modèle avec la méthode actuelle en termes de précision, de temps de réponse et de coût mensuel. Pour la recherche, nous suivons également le taux de zéro résultat et le taux de sortie de recherche avant et après.
Comment tester un petit modèle avant de s’engager ?
Créez un ensemble de test de quelques centaines d’exemples réels avec des réponses correctes, écrites ou vérifiées par quelqu’un qui connaît le catalogue. Exécutez deux ou trois petits modèles et un grand modèle sur le même ensemble. Enregistrez la précision, la vitesse par requête et le coût mensuel estimé à votre volume réel.
Si le meilleur petit modèle est à quelques points du grand, l’avantage de coût et de vitesse décide généralement. Si l’écart est large, essayez le fine-tuning avant d’abandonner, car un petit modèle ajusté dépasse souvent un grand modèle non ajusté sur une tâche étroite.
Les petits modèles peuvent-ils fonctionner sur l’appareil de l’acheteur ?
Oui, et cela se développe. Les navigateurs ajoutent des fonctionnalités d’IA intégrées, et les téléphones d’Apple, Google et Samsung exécutent de petits modèles localement. Pour les marques avec des applications mobiles, les modèles sur appareil peuvent alimenter des fonctionnalités telles que des suggestions de recherche hors ligne ou un chat privé sans envoyer de données à un serveur.
Le compromis est le contrôle. Vous ne pouvez pas toujours choisir quel modèle s’exécute sur l’appareil, et les anciens téléphones peuvent ne pas prendre en charge ces fonctionnalités. Considérez l’IA sur appareil comme une couche supplémentaire, avec une alternative côté serveur pour tous les autres.
Planifiez également l’écart entre le pilote et la production. Un modèle qui fonctionne dans un carnet a toujours besoin de surveillance, d’une alternative lorsque le serveur est en panne et d’un moyen de revenir à la version précédente. Un simple enregistrement des entrées, des sorties et des temps de réponse suffit généralement pour commencer.
Par où commencer cette semaine
Exportez une semaine de requêtes de recherche sur le site et choisissez les cent plus courantes qui ont renvoyé zéro ou de mauvais résultats. Écrivez les filtres corrects pour chacune à la main. Ensuite, exécutez un petit modèle comme Gemma ou Phi sur les mêmes requêtes avec un prompt qui renvoie des filtres en JSON, et comptez combien il en trouve correctement. Le score vous indique si un pilote vaut la peine d’être configuré.
Continuez à lire : Optimisation par IA · Optimisation par IA