Le fine-tuning entraîne davantage un modèle d’IA existant sur vos propres exemples, et LoRA (adaptation de bas rang) est une méthode moins coûteuse qui entraîne de petits poids supplémentaires au lieu de tout le modèle. Ils sont utiles lorsqu’une tâche nécessite un style, un format ou une classification cohérents que le prompting ne peut pas maintenir. Pour la plupart des tâches marketing, le prompting, la récupération ou les outils traditionnels restent plus simples.
La décision est moins une question de technologie que de données. Sans quelques centaines de bons exemples du comportement souhaité, le fine-tuning n’a rien sur quoi apprendre.
Quelle est la différence entre le fine-tuning et LoRA ?
Le fine-tuning complet met à jour tous les poids d’un modèle sur de nouvelles données d’entraînement. Il peut modifier considérablement le comportement, mais nécessite des ressources informatiques substantielles et produit une copie complète du modèle. LoRA, introduit par des chercheurs de Microsoft en 2021, gèle le modèle original et entraîne de petites matrices de bas rang qui ajustent son comportement. Le résultat est un petit fichier adaptateur qui peut être chargé avec le modèle de base.
Pour les modèles ouverts comme Llama, Mistral, Qwen ou Gemma, LoRA est la voie courante, souvent avec des outils comme Hugging Face PEFT. Pour les modèles d’image comme Stable Diffusion et Flux, les adaptateurs LoRA sont largement utilisés pour enseigner un style, un personnage ou l’apparence d’un produit. Des fournisseurs commerciaux comme OpenAI et Google proposent un fine-tuning géré pour certains de leurs modèles via leurs API.
Quelles sont les alternatives traditionnelles ?
Avant d’entraîner quoi que ce soit, considérez les options plus simples. Chacune résout un problème différent.
- Prompting avec exemples : un prompt bien écrit avec quelques exemples atteint souvent le style cible.
- Génération augmentée par récupération (RAG) : le modèle consulte vos documents avant de répondre ; idéal pour les faits qui changent.
- Modèles et règles : pour des formats fixes comme les flux de produits, un modèle est plus fiable que n’importe quel modèle d’IA.
- Apprentissage automatique classique : pour la notation ou la classification avec des données structurées, un modèle de gradient boosting peut être moins cher et plus facile à expliquer.
- Outils prêts à l’emploi : outils de rédaction, de traduction et d’image déjà ajustés pour les tâches courantes.
Quand le fine-tuning ou LoRA ont-ils du sens ?
Bonnes raisons de changer
- Un format de sortie strict est nécessaire en grand volume, et les prompts continuent de dériver.
- Une voix de marque doit être cohérente sur des milliers de textes courts, comme les descriptions de produits.
- Une tâche de classification, comme l’étiquetage de tickets de support ou d’avis, comporte de nombreux exemples étiquetés.
- La génération d’images doit reproduire un produit ou un style d’illustration de manière fiable.
- Le coût ou la vitesse comptent : un modèle ajusté plus petit peut remplacer un modèle général plus grand.
Mauvaises raisons de changer
- Pour enseigner au modèle des faits qui changent, comme les prix ou les stocks ; le RAG gère cela mieux.
- Parce qu’un concurrent l’a mentionné.
- Avec moins de cent exemples, ou des exemples de qualité mixte.
- Quand personne dans l’équipe ne peut évaluer la sortie systématiquement.
Qu’est-ce que cela coûte en pratique ?
Les coûts informatiques pour l’entraînement LoRA sur des modèles ouverts ont beaucoup baissé ; les petits adaptateurs peuvent être entraînés en quelques heures sur un seul GPU loué. Les coûts les plus importants sont ailleurs. La collecte et le nettoyage des exemples d’entraînement prennent souvent des semaines. L’évaluation nécessite un ensemble de test réservé et des critères clairs. Héberger un modèle personnalisé signifie exécuter une infrastructure d’inférence ou payer un fournisseur qui prend en charge les adaptateurs personnalisés.
Il y a aussi la maintenance. Lorsque le modèle de base est mis à jour, les adaptateurs doivent généralement être réentraînés. Un modèle ajusté construit sur une base ancienne peut être dépassé par un modèle général plus récent en quelques mois.
Comment décider, étape par étape ?
- Définissez la tâche et un objectif de qualité mesurable, comme la précision ou la conformité au format.
- Essayez le prompting avec des exemples et mesurez par rapport à l’objectif.
- Si les faits sont le problème, ajoutez la récupération et mesurez à nouveau.
- Si le style ou le format sont toujours incohérents, collectez au moins plusieurs centaines d’exemples de haute qualité.
- Entraînez un adaptateur LoRA, comparez-le avec le meilleur prompt sur le même ensemble de test.
- Ne changez que si le gain est clair et que l’équipe peut maintenir le modèle.
Comment Alien Road applique le fine-tuning et LoRA
Dans un engagement typique, la découverte commence par la tâche, pas par la technique. L’équipe écrit à quoi ressemble une bonne sortie et collecte les exemples existants du client : textes publicitaires passés qui ont bien fonctionné, descriptions de produits approuvées ou commentaires clients étiquetés.
La configuration commence presque toujours par le prompting et la récupération, car ils sont plus rapides à modifier. LoRA intervient lorsqu’il y a un écart clair que les exemples peuvent combler. Par exemple, un client e-commerce avec des milliers de produits et un style de rédaction distinctif peut obtenir un petit adaptateur pour les brouillons de descriptions, ou une marque avec un style d’illustration récurrent peut obtenir un LoRA d’image entraîné sur des œuvres d’art approuvées avec des droits clairs. La mesure compare le modèle ajusté et le meilleur prompt sur le même ensemble de test en aveugle, noté par des personnes qui connaissent la marque. Le reporting inclut le plan de maintenance, afin que le client sache quand un réentraînement sera nécessaire.
Une note sur les LoRA d’image
Les LoRA d’image sont le domaine où les équipes marketing voient le plus souvent des gains clairs. Entraîner un adaptateur sur 20 à 50 images approuvées d’un produit, d’une mascotte ou d’un style d’illustration peut amener un modèle à le reproduire de manière beaucoup plus cohérente que les prompts seuls. Des outils comme Kohya, les flux de travail ComfyUI et les services hébergés rendent l’entraînement accessible.
Les droits sont importants ici. Entraînez uniquement sur des images que la marque possède ou a licenciées pour cette utilisation, et enregistrez l’ensemble d’entraînement. Un LoRA entraîné sur le portfolio d’un illustrateur sans autorisation crée des problèmes juridiques et de réputation, peu importe la qualité des résultats.
Évaluer le résultat honnêtement
Utilisez des comparaisons en aveugle. Mélangez les sorties du modèle ajusté et du meilleur prompt, supprimez les étiquettes et demandez aux évaluateurs de la marque de les noter. Les gens ont tendance à préférer l’option sur laquelle ils ont travaillé dur, et un test en aveugle élimine ce biais de la décision de changer.
Répétez le test en aveugle après chaque réentraînement, en utilisant les mêmes entrées, afin que les résultats restent comparables dans le temps.
Par où commencer cette semaine
Choisissez une tâche textuelle répétitive que votre équipe effectue souvent. Collectez 30 exemples approuvés et écrivez un prompt qui en inclut cinq.
Générez la sortie pour les 25 entrées restantes et comparez-la avec les versions approuvées. Si les résultats sont proches, vous n’avez pas besoin de fine-tuning. S’ils dérivent en style ou en format, continuez à collecter des exemples ; vous construisez l’ensemble d’entraînement dont un adaptateur LoRA aurait besoin.
Continuez à lire : Optimisation par IA · Optimisation par IA