Le fine-tuning adapte un modèle AI pré-entraîné à une tâche plus étroite en l’entraînant davantage sur vos propres exemples, et LoRA (adaptation de bas rang) est une méthode populaire qui fait cela à moindre coût en entraînant de petites matrices de poids supplémentaires au lieu de tout le modèle. Les erreurs les plus courantes sont de faire du fine-tuning alors qu’un meilleur prompt suffirait, d’entraîner sur des données désordonnées et d’omettre l’évaluation.
Qu’est-ce que le fine-tuning et LoRA, brièvement ?
Un modèle de base comme Llama, Mistral ou Qwen possède des connaissances et des habitudes générales. Le fine-tuning lui montre des centaines ou des milliers de paires d’entrée et de sortie afin qu’il apprenne un style, un format ou une tâche spécifique. Le fine-tuning complet met à jour chaque paramètre, ce qui nécessite une mémoire GPU et un temps considérables.
LoRA, décrit dans un article de recherche de Microsoft de 2021, gèle les poids originaux et entraîne de petites matrices de bas rang à côté d’eux. Le résultat est un fichier adaptateur qui représente souvent une infime fraction de la taille du modèle. Vous pouvez conserver un modèle de base et échanger des adaptateurs pour différents clients ou tâches. QLoRA va plus loin en chargeant le modèle de base en précision 4 bits, ce qui permet aux gens d’ajuster des modèles assez grands sur un seul GPU grand public ou de station de travail.
Des options hébergées existent aussi. OpenAI, Google et d’autres fournisseurs vous permettent de télécharger des données d’entraînement et d’ajuster des modèles sélectionnés via leurs plateformes, sans gérer le matériel vous-même.
Erreur 1 : fine-tuning avant d’essayer les prompts et la récupération
De nombreuses équipes se tournent vers le fine-tuning parce que cela semble être l’option sérieuse. En pratique, une grande partie des besoins marketing est satisfaite par des prompts clairs avec de bons exemples, ou par la génération augmentée par récupération (RAG), où le modèle lit des documents pertinents au moment où il répond.
Une règle utile : le fine-tuning enseigne la forme, la récupération fournit les faits. Si vous voulez que le modèle connaisse les prix des produits de ce mois-ci, le fine-tuning est le mauvais outil, car la connaissance se fige au moment de l’entraînement et devient obsolète. Si vous voulez qu’il écrive toujours des textes de produits dans une structure et une voix particulières, le fine-tuning peut aider.
Erreur 2 : entraînement sur des données que personne n’a nettoyées
Un modèle ajusté copie tous les modèles présents dans son ensemble d’entraînement, y compris les mauvais. Problèmes typiques dans les jeux de données marketing :
- Anciens textes mentionnant des produits abandonnés ou des offres expirées.
- Formatage incohérent, de sorte que le modèle n’apprend aucune structure claire.
- Doublons qui surpondèrent quelques exemples.
- Textes écrits par de nombreux auteurs avec des normes différentes.
- Données personnelles, telles que les noms des clients dans les transcriptions de support, qui ne devraient jamais être intégrées dans les poids.
Les petits jeux de données sélectionnés battent généralement les grands et bruyants. Quelques centaines d’exemples soigneusement choisis qui représentent exactement ce que vous voulez peuvent surpasser des milliers extraits d’une archive.
Une liste de contrôle pour la révision des données
- Supprimez tout ce que vous ne publieriez pas aujourd’hui.
- Standardisez le format d’entrée pour que chaque exemple soit identique.
- Supprimez ou remplacez les informations personnelles.
- Gardez un ensemble de test séparé que le modèle ne voit jamais pendant l’entraînement.
- Faites lire un échantillon aléatoire par une personne avant le début de l’entraînement.
Erreur 3 : pas d’évaluation, seulement des impressions
L’échec classique consiste à entraîner un modèle, essayer cinq prompts, aimer les réponses et déclarer le succès. Cela vous dit très peu de choses. Vous avez besoin d’un ensemble de test fixe et d’un moyen de noter les sorties, que ce soit par évaluation humaine, vérifications basées sur des règles (longueur, mots interdits, champs requis) ou une comparaison avec le modèle de base avec un bon prompt.
Le surapprentissage (overfitting) est le danger spécifique. Un modèle entraîné trop longtemps sur un petit ensemble peut reproduire des exemples d’entraînement presque mot pour mot, ou perdre des capacités générales qu’il avait auparavant. Surveiller la perte de validation pendant l’entraînement et tester sur des entrées non vues permet de détecter cela.
Erreur 4 : mauvais paramètres pour LoRA
LoRA a quelques hyperparamètres qui comptent : le rang (souvent écrit r), le facteur d’échelle alpha, quelles couches reçoivent des adaptateurs, le taux d’apprentissage et le nombre d’époques. Copier les paramètres d’un tutoriel aléatoire construit pour une taille de modèle ou une tâche différente conduit à des résultats faibles ou instables.
Des bibliothèques comme Hugging Face PEFT et des outils comme Axolotl ou Unsloth sont livrés avec des valeurs par défaut sensées, et ces valeurs par défaut sont un point de départ raisonnable. Changez un paramètre à la fois et enregistrez le résultat, sinon vous ne pourrez pas dire ce qui a aidé.
Erreur 5 : ignorer la licence et le déploiement
Les modèles à poids ouverts sont accompagnés de licences qui diffèrent. Certaines autorisent une utilisation commerciale large, d’autres comportent des restrictions ou des règles d’attribution. Vérifiez la licence de la version exacte du modèle de base avant de construire un produit client dessus.
Le déploiement est souvent une réflexion après coup. Un adaptateur ajusté a besoin d’un endroit pour s’exécuter, avec des coûts et une latence prévisibles. Les outils de service comme vLLM prennent en charge le chargement des adaptateurs LoRA, et plusieurs fournisseurs de cloud hébergent des modèles personnalisés, mais quelqu’un doit s’occuper de la surveillance, des mises à jour et des retours en arrière.
Comment Alien Road applique le fine-tuning et LoRA
Dans un engagement typique, la découverte commence par demander si le fine-tuning est vraiment nécessaire. Nous construisons d’abord la meilleure version de la tâche avec prompt-plus-récupération et nous la mesurons. Ce n’est que lorsque cette base de référence échoue encore en termes de cohérence de style ou de format que nous envisageons l’entraînement.
Si l’entraînement se poursuit, la configuration se concentre sur le jeu de données. Nous travaillons avec le client pour sélectionner des exemples approuvés, les nettoyer, supprimer les données personnelles et séparer un ensemble de test. Une petite exécution LoRA sur un modèle à poids ouverts, ou un fine-tuning hébergé, suit ensuite, avec les paramètres et les versions de données enregistrés.
La mesure compare trois versions sur le même ensemble de test : le modèle de base avec un prompt simple, le modèle de base avec le meilleur prompt et le modèle ajusté. Les évaluateurs notent les sorties à l’aveugle, sans savoir quelle version a écrit quoi. Le rapport au client montre ces scores, le coût d’exécution de chaque option et une recommandation, qui est parfois de rester avec le prompting.
Quand le fine-tuning vaut-il clairement la peine ?
Il gagne sa place lorsqu’une tâche est étroite, répétée en grand volume et jugée sur la cohérence. Les exemples incluent la classification des prospects entrants en catégories fixes, la réécriture des données produit dans un modèle strict ou la production de courtes lignes publicitaires dans une voix de marque très spécifique. Dans de tels cas, un petit modèle ajusté peut également être moins cher et plus rapide à exécuter qu’un grand modèle général.
Il vaut rarement la peine pour un travail créatif large, des faits qui changent rapidement ou des tâches que vous effectuez quelques fois par mois.
Par où commencer cette semaine
Notez la seule tâche qui, selon vous, nécessite un fine-tuning. Construisez le prompt le plus fort possible, avec trois bons exemples, et exécutez-le sur 30 entrées réelles. Notez les résultats honnêtement.
Si plus de quelques sorties échouent en termes de format ou de voix, commencez à collecter un jeu de données propre d’exemples approuvés. Visez la qualité plutôt que la taille, mettez de côté un ensemble de test, et seulement alors planifiez une petite expérience LoRA.
Continuer la lecture : Optimisation par IA · Optimisation par IA