fine-tuning

En profondeur

Le procédé

Un fine-tuning part d’un modèle déjà entraîné et poursuit son entraînement sur un jeu d’exemples : des entrées et les réponses attendues. À chaque passage, les poids sont ajustés par petits pas pour rapprocher les productions du modèle de ces exemples. Le résultat n’est pas un réglage que l’on active ou désactive : c’est un nouveau modèle, qu’il faut stocker, servir, évaluer et versionner comme tel. Des méthodes plus économes n’entraînent qu’une petite partie ajoutée aux poids d’origine, ce qui abaisse la facture sans changer le principe.

Ce qui le situe à l’étage 1

C’est ce qui situe le fine-tuning à l’étage du modèle, alors que le RAG appartient au harnais : l’un déplace les poids, l’autre se contente de donner les bons documents à lire au moment de la question. La répartition des rôles qui en découle est assez stable. Le fine-tuning excelle sur ce qui relève d’une manière de faire : un ton, un format de sortie, un vocabulaire métier, une tâche de forme constante. Il échoue sur ce qui relève de la matière, en particulier les faits qui changent, puisque aucune mise à jour ne se fait sans repasser par un entraînement. Le coût, lui, se paie une fois en amont, et chaque requête devient un peu moins chère puisqu’il n’est plus nécessaire de tout réexpliquer dans le prompt.

Le piège onéreux

Le piège le plus onéreux consiste à vouloir enseigner des faits par fine-tuning : on apprend alors au modèle à se tromper avec plus d’assurance, et l’erreur devient invisible parce qu’elle n’est rattachable à aucune source. Un second piège tient à la régression : en spécialisant un modèle, on dégrade souvent des capacités générales qu’il possédait, ce qui ne se voit que si l’on mesure aussi ce que l’on ne cherchait pas à améliorer. Un troisième est la dette d’entretien, car le résultat est figé sur une version de départ et chaque nouvelle génération de modèles repose la question de tout refaire. La règle de prudence est d’épuiser d’abord ce qui est réversible, le prompt puis le RAG, et de ne fine-tuner qu’une fois ces leviers utilisés sans que le comportement se stabilise.