inférence

En profondeur

L’inférence procède par petits pas. Le modèle ne compose pas une réponse d’un bloc : il prédit le fragment de texte le plus probable, l’ajoute à ce qu’il a déjà, puis recommence avec cette suite comme nouvelle entrée. C’est ce mécanisme qui explique l’affichage mot à mot, mais aussi une propriété plus profonde : chaque fragment produit influence tous les suivants, si bien qu’un mauvais départ se propage. C’est ce qui rend efficaces les consignes qui demandent de raisonner avant de conclure, puisqu’elles allongent le chemin avant la réponse.

C’est là que se joue l’économie du système. L’entraînement est un investissement unique et colossal ; l’inférence est un coût récurrent, proportionnel à l’usage, qui finit par le dépasser largement pour un service très employé. Deux grandeurs comptent : la longueur de l’entrée, qui doit être relue à chaque requête, et celle de la sortie, produite fragment par fragment et donc plus chère. Beaucoup d’optimisations réelles consistent simplement à donner moins à lire et à demander moins à écrire.

La phase d’inférence est aussi la seule qu’une organisation contrôle vraiment. Elle ne choisit pas ce que le modèle a appris, mais elle choisit ce qu’elle lui donne à lire, avec quelles instructions, avec quels outils, et ce qu’elle fait de la sortie. Autrement dit, tout le harnais opère à l’inférence. C’est pourquoi la question « faut-il réentraîner ? » se pose beaucoup moins souvent qu’on ne le croit : la plupart des problèmes se règlent en changeant ce qui entoure l’appel, pas le modèle appelé.