déterminisme

En profondeur

Deux notions à séparer

Deux notions se recouvrent souvent et gagnent à être séparées : le déterminisme, qui veut que la même entrée donne la même sortie ici et maintenant, et la reproductibilité, qui veut qu’on retrouve le même résultat plus tard, ailleurs, sur une autre machine. La première source de variation est le tirage. À chaque étape de l’inférence, le modèle produit une probabilité pour chacun des fragments possibles et en tire un ; la température règle l’étalement de cette distribution, et à zéro le fragment le plus probable l’emporte systématiquement, ce qui retire au tirage son rôle de source de hasard. Cela ne suffit pas, parce que la distribution elle-même n’est pas rigoureusement stable : le calcul se fait en virgule flottante, où l’addition n’est pas associative, si bien que changer l’ordre des opérations change les derniers chiffres du résultat. Or cet ordre n’est pas fixé par la demande : il dépend de la répartition du calcul sur les unités de la machine, et surtout de la composition du lot de requêtes traitées ensemble, qui dépend de la charge du service à cet instant. Il suffit alors que deux fragments soient presque également probables pour que cet écart minuscule fasse basculer le choix, puis toute la suite du texte, chaque fragment produit servant d’entrée aux suivants.

La conséquence sur la mesure

La conséquence la plus lourde porte sur la mesure. Un test logiciel classique compare une sortie à une sortie attendue ; ici, la même entrée peut donner deux textes différents et tous deux acceptables, si bien que l’égalité ligne à ligne cesse d’être un critère. On raisonne donc en taux sur un lot de cas, on rejoue chaque cas plusieurs fois, et l’on regarde la dispersion autant que la moyenne : une évaluation conduite sur un seul essai ne mesure pas un système, elle mesure un tirage. Le corollaire est désagréable et il faut s’y tenir, un écart de quelques points entre deux versions pouvant n’être que du bruit, que seul un nouveau passage permet de trancher. Le débogage change de nature lui aussi, puisqu’un incident ne se reproduit pas à volonté : les traces deviennent le seul enregistrement de ce qui s’est réellement passé, et sans elles il ne reste rien à examiner. Ce qui se stabilise n’est donc pas la sortie mais ce qui l’entoure, en imposant une sortie structurée, en validant la forme reçue et en rendant le harnais déterministe là où le modèle ne l’est pas. Un système peut être fiable sans être déterministe, et c’est la seule cible réellement atteignable.

Stable n’est pas juste

Le piège fondateur est de confondre stable et juste. Un modèle se trompe très bien de façon parfaitement reproductible, et la température à zéro fige l’erreur exactement comme elle fige la bonne réponse. Le deuxième piège est la graine de tirage, que l’on croit suffisante : elle fixe le hasard du tirage, pas l’ordre des calculs ni la composition des lots, et elle ne survit ni à un changement de matériel ni à une mise à jour du service. Le troisième est la version, les modèles servis à distance évoluant sous les pieds des systèmes qui les emploient : un résultat sans version notée à côté devient inexploitable en quelques mois, et héberger soi-même un modèle à poids ouverts règle ce point précis sans régler les autres. Le quatrième est contractuel, et c’est le plus coûteux : promettre une sortie identique dans un cahier des charges ou devant un auditeur engage sur une propriété que rien ne garantit, alors que ce qui s’engage réellement est un comportement dans des bornes, mesuré sur un jeu de cas. Reste à noter que la variation n’est pas toujours un défaut, puisque c’est elle qui permet de proposer plusieurs formulations, de relancer une génération manquée, ou de tirer plusieurs réponses pour ne garder que celle qui revient le plus souvent.