Le fine-tuning et LoRA adaptent un modèle d’AI pré-entraîné à un style, un format ou une tâche spécifique en utilisant vos propres exemples. Les principaux risques sont l’entraînement sur des données que vous n’avez pas le droit d’utiliser, l’enseignement au modèle d’erreurs ou d’informations privées, et la construction de quelque chose qu’un prompt bien écrit aurait pu atteindre avec beaucoup moins d’efforts. Définissez des règles pour les données, l’évaluation, l’accès et la propriété avant le début de tout travail d’entraînement.
Le fine-tuning complet met à jour tout ou partie des poids d’un modèle. LoRA, abréviation de low-rank adaptation, gèle le modèle original et entraîne de petites matrices supplémentaires, il nécessite donc beaucoup moins de mémoire et produit un fichier d’adaptateur compact. LoRA est courant pour les modèles de langage à poids ouverts tels que Llama, Mistral et Qwen, et pour les modèles d’image tels que Stable Diffusion et Flux, où les marques entraînent un adaptateur sur leurs photos de produits ou leur style d’illustration. Les fournisseurs hébergés, notamment OpenAI et Google, proposent également un fine-tuning géré pour certains de leurs modèles.
Quand le fine-tuning est-il judicieux et quand ne l’est-il pas ?
Le fine-tuning est efficace pour enseigner la forme : ton de voix, format de sortie strict, schéma de classification, style visuel. Il est faible pour enseigner des faits qui changent. Si vous voulez qu’un modèle connaisse les prix ou les niveaux de stock de ce mois-ci, la génération augmentée par récupération ou les appels d’outils sont plus appropriés, car vous pouvez mettre à jour les données sans réentraîner.
Essayez d’abord ceux-ci, dans l’ordre :
- Un prompt clair avec des exemples de bonne sortie.
- Récupération à partir de vos documents ou de votre base de données produits.
- Un modèle de base plus grand ou plus performant.
- Fine-tuning ou LoRA, uniquement si les trois premiers ne peuvent pas atteindre le niveau de qualité à un coût acceptable.
De nombreuses équipes passent directement à la quatrième étape parce que cela semble plus sérieux. Cela gaspille généralement des semaines.
Quels sont les principaux risques ?
Droits sur les données
Les données d’entraînement doivent vous appartenir pour être utilisées à cette fin. Les e-mails des clients, les chats de support et les fichiers créatifs peuvent être couverts par des contrats, des lois sur la confidentialité telles que le RGPD ou la KVKK turque, ou des licences tierces. Les images provenant de bibliothèques d’images interdisent souvent l’entraînement par AI dans leurs conditions de licence.
Mémorisation et fuites
Les modèles peuvent mémoriser des chaînes rares provenant des données d’entraînement, telles que des noms, des numéros de téléphone ou des codes internes, et les répéter plus tard. Supprimez les données personnelles et les secrets avant l’entraînement, pas après.
Erreurs verrouillées
Si les exemples d’entraînement contiennent des erreurs, le modèle les apprend avec confiance. Un jeu de données de description de produit avec des affirmations obsolètes produira un modèle qui continue de faire ces affirmations.
Dérive de sécurité
Des recherches ont montré que le fine-tuning peut affaiblir le comportement de sécurité d’un modèle de base, même avec des données d’apparence inoffensive. Testez à nouveau les refus et les cas de sortie nuisible après chaque cycle d’entraînement.
Coût et maintenance
Chaque nouvelle version du modèle de base signifie décider s’il faut réentraîner. Un adaptateur entraîné pour une version de modèle ne se transfère pas à une autre architecture.
Quelles sont les limites pratiques ?
- Les petits jeux de données enseignent le style, pas la connaissance. Quelques centaines de bons exemples peuvent façonner le format ; ils ne feront pas du modèle un expert.
- Les LoRA d’image ont du mal avec le texte exact, les logos et la géométrie précise du produit, et peuvent mélanger les caractéristiques de différents produits.
- Le surapprentissage (overfitting) est courant : le modèle copie les exemples d’entraînement trop étroitement et perd en flexibilité.
- L’évaluation est plus difficile que l’entraînement. Sans jeu de test, vous ne pouvez pas dire si le nouveau modèle est meilleur.
Règles de gouvernance à définir en premier
Écrivez-les avant tout travail d’entraînement. Un document d’une page suffit pour la plupart des équipes.
- Objectif : la tâche exacte que le modèle effectuera et le niveau de qualité qu’il doit atteindre.
- Inventaire des données : chaque source utilisée, qui la possède, la base juridique de l’utilisation et comment les données personnelles ont été supprimées.
- Conservation des données : où les fichiers d’entraînement et les poids de l’adaptateur sont stockés, et qui peut y accéder.
- Jeu d’évaluation : un ensemble d’exemples mis de côté, jamais utilisé dans l’entraînement, noté avant et après.
- Tests de sécurité : prompts qui vérifient les données divulguées, le contenu nuisible et les violations de la politique de marque.
- Approbation : qui signe avant que le modèle ne soit utilisé avec les clients ou dans du contenu publié.
- Versionnage : nom du modèle de base, version de l’adaptateur, date d’entraînement et hash du jeu de données enregistrés pour chaque version.
- Restauration : comment revenir au modèle précédent si un problème survient.
- Divulgation : où le contenu généré est étiqueté, conformément aux règles de la plateforme et aux règles juridiques.
Comment évaluer équitablement un modèle affiné
Comparez le modèle affiné avec la meilleure ligne de base basée uniquement sur le prompt, pas avec un prompt paresseux. Notez les sorties à l’aveugle, avec des évaluateurs qui ne savent pas quel modèle les a écrites. Pour les LoRA d’image, examinez une grille de sorties sur de nombreux prompts, pas le meilleur résultat individuel.
Suivez le coût par sortie acceptable. Si le modèle affiné est légèrement meilleur mais nécessite un hébergement, une surveillance et un réentraînement, la ligne de base peut toujours gagner.
À qui doit appartenir le modèle entraîné ?
La propriété est une question de gouvernance que les équipes oublient souvent jusqu’à la fin d’un contrat. Si une agence ou un fournisseur entraîne un adaptateur sur vos actifs de marque, convenez par écrit de qui détient les poids de l’adaptateur, les données d’entraînement et le jeu d’évaluation. Convenez également de ce qui se passe lorsque la relation prend fin : les fichiers sont-ils remis, supprimés, ou les deux ?
Le fine-tuning hébergé ajoute une autre couche. Le modèle entraîné peut vivre dans le compte du fournisseur, lié à une clé API spécifique. Assurez-vous que le compte appartient à la marque, pas à un employé individuel, et que l’accès est révisé lorsque les personnes quittent l’équipe.
Comment Alien Road applique le fine-tuning et LoRA
Dans un engagement typique, la découverte vérifie si le fine-tuning est nécessaire. Nous collectons des exemples de la sortie souhaitée par le client, comme des descriptions de produits avec une voix spécifique ou des illustrations dans un style maison, et testons d’abord les approches basées sur le prompt et la récupération.
Si l’entraînement est justifié, la configuration commence par une révision des données : confirmation de la propriété, suppression des informations personnelles et séparation d’un jeu d’évaluation mis de côté. Pour le travail sur l’image, un LoRA est entraîné uniquement sur des actifs de marque approuvés, et l’équipe de design graphique examine les grilles de sortie avant toute utilisation. Chaque adaptateur est versionné avec son jeu de données et son modèle de base.
La mesure compare le modèle entraîné avec la ligne de base sur le jeu d’évaluation et sur le travail en direct, en suivant le taux d’acceptation des évaluateurs, le temps d’édition et le coût. Le reporting indique au client ce qui a été entraîné, sur quelles données, et quand il doit être réexaminé.
Par où commencer cette semaine
Écrivez un paragraphe décrivant la tâche que vous souhaitez qu’un modèle personnalisé effectue, puis collectez 30 exemples de sortie idéale. Testez-les comme exemples few-shot dans un prompt avec votre modèle actuel. Si les résultats atteignent votre niveau de qualité, vous n’avez pas encore besoin de fine-tuning. S’ils sont insuffisants, ces 30 exemples deviennent le début de votre jeu d’évaluation et de votre document de gouvernance.
Continuer la lecture : Optimisation par IA · Optimisation par IA