Le fine-tuning est le processus consistant à entraîner davantage un modèle d’AI existant sur vos propres exemples afin qu’il apprenne un style, un format ou une tâche spécifique. LoRA, abréviation de low-rank adaptation, est un moyen moins coûteux de le faire : il entraîne une petite couche supplémentaire au lieu de modifier l’ensemble du modèle. Pour les marketeurs, les deux ne valent la peine d’être envisagés qu’après avoir essayé de bons prompts et des méthodes de récupération et constaté qu’ils ne suffisent pas.
Que change le fine-tuning dans un modèle ?
Un modèle de base connaît déjà la langue, la grammaire et beaucoup de faits généraux. Le fine-tuning lui montre des centaines ou des milliers de paires d’entrée et de sortie, telles qu’une spécification de produit et la description que votre équipe a écrite pour celui-ci, afin que le modèle apprenne à produire ce type de sortie par défaut.
Il est efficace pour enseigner le comportement : ton, structure, longueur, étiquettes et formatage. Il est médiocre pour enseigner des faits qui changent. Si vous effectuez un fine-tuning sur les prix de cette saison, le modèle les répétera longtemps après qu’ils soient devenus incorrects.
OpenAI propose le fine-tuning pour plusieurs de ses modèles via l’API, Google propose le réglage dans Vertex AI, et Amazon Bedrock prend en charge la personnalisation pour certains modèles. Les modèles à poids ouverts tels que Llama, Mistral et Qwen peuvent être affinés sur votre propre matériel ou via des services tels que Hugging Face.
En quoi LoRA est-il différent du fine-tuning complet ?
Le fine-tuning complet met à jour tous les paramètres d’un modèle, ce qui nécessite beaucoup de mémoire GPU et produit une copie complète du modèle pour chaque version. LoRA gèle les poids d’origine et entraîne de petites matrices qui se trouvent à côté d’eux. Le résultat est un fichier adaptateur qui représente souvent une petite fraction de la taille du modèle.
Cela présente des avantages pratiques. Vous pouvez conserver un modèle de base et échanger les adaptateurs par marque ou par tâche. L’entraînement est plus rapide et moins cher. QLoRA, une méthode associée, s’entraîne sur une version compressée du modèle et rend le réglage possible sur un seul GPU puissant.
LoRA est également largement utilisé pour les modèles d’image. Les concepteurs entraînent des adaptateurs LoRA sur Stable Diffusion ou Flux pour reproduire un produit, un personnage ou un style d’illustration de manière cohérente, ce que les prompts seuls ont du mal à faire.
Quand les marketeurs doivent-ils utiliser le prompting, le RAG ou le fine-tuning ?
La plupart des problèmes sont résolus par l’option la moins chère. Ne passez à l’étape suivante que lorsque l’étape précédente a été correctement testée et qu’elle échoue.
- Prompting avec exemples : corrige le ton et le format pour la plupart des tâches, ne coûte rien à modifier.
- Retrieval-augmented generation (RAG) : fournit au modèle vos documents actuels au moment de la réponse, idéal pour les faits qui changent.
- Fine-tuning ou LoRA : enseigne un comportement cohérent sur un très grand volume, ou un style que les exemples dans un prompt ne peuvent pas capturer.
- Entraîner un modèle à partir de zéro : presque jamais judicieux pour une équipe marketing.
Une question de test utile : le problème implique-t-il de savoir quelque chose ou de faire quelque chose ? Savoir pointe vers le RAG. Faire, de la même manière des milliers de fois, peut pointer vers le fine-tuning.
Quelles tâches marketing sont de bons candidats ?
Les bons candidats sont étroits, répétitifs et bien documentés, avec une réponse correcte claire ou un style de maison stable. Vous avez également besoin d’exemples propres ; le modèle copiera chaque erreur dans le jeu d’entraînement.
- Classer les tickets de support ou les termes de recherche dans votre propre liste de catégories.
- Rédiger des descriptions de produits dans un format fixe sur un grand catalogue.
- Produire des variantes de textes publicitaires qui suivent des règles strictes de marque et juridiques.
- Générer des images de marque d’un produit ou d’une mascotte avec un LoRA d’image.
- Extraire des données structurées à partir de documents de fournisseurs.
De quoi un projet de fine-tuning a-t-il besoin ?
Données
Collectez quelques centaines à quelques milliers d’exemples de haute qualité, selon la tâche. Supprimez les données personnelles, les affirmations obsolètes et tout ce que vous ne voudriez pas voir répété. Séparez un jeu de test que le modèle ne voit jamais pendant l’entraînement.
Évaluation
Décidez comment vous jugerez le succès avant l’entraînement. Pour la classification, utilisez la précision sur le jeu de test. Pour l’écriture, utilisez une évaluation à l’aveugle où les éditeurs comparent la sortie ajustée avec la sortie avec prompt sans savoir laquelle est laquelle.
Maintenance
Lorsque le modèle de base obtient une nouvelle version, votre adaptateur peut avoir besoin d’être réentraîné. Prévoyez un budget pour cela et conservez les données d’entraînement et les paramètres dans le contrôle de version.
Quels sont les risques ?
Les modèles affinés peuvent devenir plus étroits. Un modèle fortement ajusté sur des descriptions de produits peut devenir moins bon sur des instructions générales. Le réglage peut également affaiblir certains comportements de sécurité, c’est pourquoi les fournisseurs hébergés effectuent des vérifications sur les données d’entraînement.
La licence est importante pour les modèles à poids ouverts et pour les LoRA d’image entraînés sur des photos ou des illustrations. Entraînez uniquement sur du matériel que vous possédez ou pour lequel vous avez des droits d’utilisation, et enregistrez la provenance de chaque fichier d’entraînement.
Comment Alien Road applique le fine-tuning et LoRA
Notre équipe d’optimisation d’AI traite le fine-tuning comme une étape ultérieure. La découverte commence par tester la tâche avec des prompts solides et, là où les faits comptent, une configuration de récupération. Ce n’est que si ceux-ci ne suffisent pas en termes de qualité ou de coût à grand volume que nous proposons le réglage.
Lorsque nous le faisons, nous construisons le jeu d’entraînement avec les éditeurs du client, supprimons le contenu personnel et obsolète, et conservons un jeu de test. Les LoRA d’image sont entraînés uniquement sur des photographies de produits appartenant au client.
Les rapports comparent le modèle ajusté avec la ligne de base avec prompt en termes de précision, de temps d’édition et de coût par millier de sorties. Si le gain est faible, nous recommandons de rester avec les prompts, car ils sont plus faciles à maintenir.
Combien cela coûte-t-il ?
Le fine-tuning hébergé facture généralement par jeton d’entraînement plus un tarif plus élevé par jeton lorsque vous utilisez le modèle ajusté. LoRA sur des poids ouverts coûte des heures GPU, ce qui peut être modeste pour les petits modèles. Le coût le plus important est celui des personnes : préparer les données, évaluer les résultats et réentraîner lorsque les choses changent. Calculez ces heures avant de comparer avec le prompting.
Gardez la décision simple pour les parties prenantes. Montrez la ligne de base, le résultat ajusté et le coût de maintenance annuel sur une diapositive. Si le modèle ajusté gagne clairement sur une tâche que l’entreprise répète chaque jour, le cas se défend de lui-même ; si la différence nécessite une longue explication, cela ne vaut probablement pas la peine d’être maintenu.
Par où commencer cette semaine
Choisissez une tâche répétée où la qualité de la sortie est incohérente. Écrivez le meilleur prompt possible avec trois exemples et exécutez-le sur cinquante entrées réelles. Notez les résultats. Si plus de quelques-uns nécessitent une édition intensive, collectez les versions éditées au fur et à mesure ; cela devient le cœur d’un futur jeu d’entraînement, et vous saurez exactement ce que le modèle ajusté doit battre.
Continuer la lecture : Optimisation par IA · Optimisation par IA