Le Modèle

Une machine à prédire la suite d’un texte, entraînée une fois pour toutes, sans mémoire et sans accès au monde.

Les termes de cet étage

29 fiches

alignementNº 060L’alignement désigne le travail qui fait qu’un modèle se comporte comme on le souhaite : suivre une consigne, refuser certaines demandes, adopter un ton. Comme la formation qui suit l’embauche, et qui ne change pas ce qu’une personne sait mais ce qu’elle en fait.
benchmarkNº 061Un benchmark est une épreuve standardisée qui note les modèles sur un jeu de questions communes, afin de les comparer entre eux. Comme un examen national : il classe les candidats, il ne dit pas lequel fera l’affaire dans votre équipe.
biaisNº 062Un biais est un écart systématique et reproductible dans les sorties d’un modèle, hérité de ses données ou de son entraînement. Comme une balance mal étalonnée : elle ne se trompe pas au hasard, elle se trompe toujours dans le même sens.
deep learning (apprentissage profond)Nº 047Le deep learning est la branche de l’apprentissage automatique qui empile de nombreuses couches de calcul, chacune décrivant les données un cran plus abstraitement que la précédente. Comme une chaîne de relecteurs où le premier voit des traits, le suivant des formes, le dernier un visage.
déterminismeNº 089Un système est déterministe quand la même entrée donne toujours exactement la même sortie. Un modèle de langage ne l’est pas : comme un orchestre qui rejoue la même partition, la demande est identique et l’exécution ne l’est jamais tout à fait.
distillationNº 063La distillation consiste à entraîner un petit modèle à imiter les réponses d’un grand, pour obtenir un objet bien plus léger qui garde l’essentiel du comportement. Comme un manuel d’atelier tiré de l’expérience d’un maître : plus court, suffisant pour la plupart des cas.
données d’entraînementNº 050Les données d’entraînement sont les exemples à partir desquels un modèle a été formé : c’est de leur contenu que dépendent ce qu’il sait dire et ce qu’il ignore. Comme la bibliothèque où quelqu’un a tout appris, et dont les manques deviennent les siens.
embedding (plongement)Nº 053Un embedding est la traduction d’un texte en une longue liste de nombres, arrangée de sorte que deux textes de sens voisin donnent des listes voisines. Comme des coordonnées sur une carte, où les villes proches parlent de choses proches.
fenêtre de contexteNº 007La fenêtre de contexte est la quantité de texte qu’un modèle peut avoir sous les yeux à la fois : vos messages et les documents fournis. Comme un plan de travail, passé une certaine taille il faut retirer quelque chose pour poser autre chose.
fine-tuningNº 014Le fine-tuning consiste à poursuivre l’entraînement d’un modèle existant sur vos propres exemples, pour changer sa façon de répondre : comme un professionnel expérimenté que vous formez quelques semaines à vos usages maison, jusqu’à ce qu’ils deviennent des réflexes.
hallucinationNº 011Une hallucination, c’est une réponse fausse énoncée avec le même aplomb qu’une réponse juste : une date inventée, une citation qui n’existe pas. Comme quelqu’un qui, plutôt que d’avouer un trou de mémoire, comble par ce qui sonne juste.
IA générativeNº 017L’IA générative désigne les systèmes qui produisent un contenu nouveau, texte, image, son ou code, plutôt que de classer ou de mesurer ce qui existe déjà. Comme un dessinateur qui compose une scène inédite là où un tampon reproduit toujours la même empreinte.
inférenceNº 051L’inférence est le moment où un modèle déjà entraîné produit une réponse : il lit ce qu’on lui donne et écrit la suite, sans rien apprendre au passage. Comme un musicien qui joue un morceau, par opposition aux années passées à travailler son instrument.
intelligence artificielleNº 045L’intelligence artificielle est le nom d’un domaine entier, pas d’une technique : tout ce qui fait faire à une machine des tâches qu’on associait au jugement humain. Comme le mot « médecine », qui recouvre aussi bien un vaccin qu’une prothèse de hanche.
machine learning (apprentissage automatique)Nº 046Le machine learning, ou apprentissage automatique, consiste à ne plus écrire les règles d’un programme mais à lui donner des exemples pour qu’il les dérive lui-même. Comme apprendre à reconnaître un champignon comestible en en voyant mille, plutôt qu’en lisant leur description.
modèleNº 004Un modèle est le résultat figé d’un long apprentissage sur des masses d’exemples : il en garde une façon de continuer ce qu’on lui donne. Comme un moteur sorti d’usine, il ne démarre pas tout seul et ne change plus après sa fabrication.
modèle de langage (LLM)Nº 005Un modèle de langage est une machine à prédire la suite d’un texte : à partir de ce qui précède, il propose le fragment suivant, puis recommence. Comme quelqu’un qui aurait tout lu et complèterait vos phrases, sans vérifier ce qu’il avance.
modèle de raisonnementNº 059Un modèle de raisonnement produit d’abord, pour lui-même, une longue suite d’étapes intermédiaires, puis rédige sa réponse à partir d’elles. Comme quelqu’un qui couvre un brouillon de calculs avant d’écrire la ligne de résultat.
modèle frontièreNº 087Un modèle frontière est l’un des modèles les plus capables qui existent à un moment donné : la catégorie se définit par rapport à ce que la technique sait faire, jamais par une taille ni par un chiffre. Comme un record du monde : ce n’est pas une performance fixée une fois pour toutes, c’est celle que personne n’a encore dépassée.
multimodalNº 058Un modèle multimodal traite plusieurs natures d’entrée dans le même calcul : du texte, des images, du son, sans les convertir d’abord dans un format unique. Comme une personne qui regarde un graphique en écoutant son commentaire, plutôt que d’en lire la description écrite.
open sourceNº 056L’open source désigne un régime de licence qui accorde quatre libertés : utiliser, étudier, modifier et redistribuer, sans discrimination d’usage ni de personne. Comme une recette publiée avec sa liste d’ingrédients, que chacun peut refaire, changer et republier.
open weight (poids ouverts)Nº 055Un modèle à poids ouverts est un modèle dont les paramètres sont téléchargeables : on peut l’exécuter chez soi, l’adapter, l’intégrer. Comme un moteur qu’on vous livre et que vous montez où vous voulez, sans les plans de l’usine qui l’a fabriqué.
paramètre (poids)Nº 049Un paramètre est l’un des coefficients numériques ajustés pendant l’entraînement : leur ensemble constitue tout ce que le modèle a retenu. Comme un instrument qu’on accorde : les réglages restent, les morceaux joués pour l’accorder ne sont nulle part dedans.
pré-entraînementNº 052Le pré-entraînement est la première phase, la plus longue et la plus coûteuse : le modèle lit d’immenses quantités de texte en apprenant seulement à en prédire la suite. Comme des années de lecture qui donnent une culture, avant qu’on apprenne à répondre poliment à une question.
réseau de neuronesNº 048Un réseau de neurones est une longue suite de multiplications et d’additions, organisée en couches, dont les coefficients sont ajustés jusqu’à ce que les sorties collent aux exemples. Comme une table de mixage à des milliards de curseurs, réglés automatiquement à l’oreille.
températureNº 054La température règle le degré de hasard au moment où le modèle choisit le fragment suivant : basse, il prend presque toujours le plus probable ; haute, il s’autorise des choix moins attendus. Comme un cuisinier qui suit la recette à la lettre ou s’écarte un peu à chaque geste.
tokenNº 006Un token est le petit morceau de texte que le modèle manipule : ni une lettre, ni tout à fait un mot, plutôt un bout de mot courant. Ce que vous écrivez lui arrive découpé ainsi, comme un texte lu syllabe par syllabe.
tokenisationNº 088La tokenisation est l’opération qui réécrit tout texte entrant en une suite de fragments pris dans un vocabulaire fixe, le seul que le modèle sache lire. Comme la casse d’un imprimeur : quel que soit le mot à composer, il faut le faire avec les caractères qui s’y trouvent, et un mot rare demande plus de pièces qu’un mot courant.
transformeurNº 057Le transformeur est l’architecture de réseau qui équipe presque tous les modèles actuels : à chaque étape, chaque fragment de texte regarde tous les autres et retient ceux qui l’éclairent. Comme un lecteur qui, sur chaque mot, revient à ceux qui en fixent le sens.

Les autres étages

La grille

La planche L’Ascenseur est la carte de ces quatre étages : une même demande y est relue à chaque niveau.