juge automatique

En profondeur

Le mécanisme

Un juge automatique est un appel de modèle de langage dont l’entrée est une réponse à noter et dont la sortie est un verdict. Il existe parce que la plupart des critères qui comptent ne se vérifient pas par comparaison de chaînes : une réponse ouverte peut être juste sous vingt formulations différentes, et fausse sous une formulation très proche de la bonne. Sa forme la plus solide n’est pas une note globale mais une série de critères notés séparément, chacun binaire ou sur une échelle courte, avec la citation du passage qui justifie chaque verdict. Exiger cette citation change la nature de l’exercice : elle rend le verdict vérifiable par échantillonnage, et elle interdit au juge de noter une impression. Deux montages coexistent : la notation absolue, qui juge une réponse seule contre des critères, et la comparaison par paires, qui désigne la meilleure de deux réponses. La seconde est la plus stable, parce qu’il est plus facile de dire laquelle des deux vaut mieux que de placer une réponse sur une échelle ; la première a l’avantage de se comparer d’une version à l’autre.

Les deux gestes

Ce qu’un juge automatique change, c’est le volume et le délai : il rend possible de rejouer un jeu de cas entier à chaque modification, là où une relecture humaine se paie en heures et n’arrive qu’après la mise en service. C’est ce qui en fait la troisième pièce d’une évaluation, aux côtés du jeu de cas et du critère, dès que la sortie mesurée est du texte libre. Le rendre sérieux tient à deux gestes, et le premier est le plus souvent omis : les critères s’écrivent avant de voir les réponses, faute de quoi on rédige la grille qui valide ce qu’on a déjà produit. Le second est la calibration : on fait noter par une personne un échantillon de quelques dizaines de cas, on compare avec le juge, et on ne lui accorde de confiance qu’à hauteur de l’accord observé. Cet accord se mesure aussi entre deux personnes, ce qui donne le plafond réel de l’exercice : un juge qui rejoint le taux d’accord de deux relecteurs humains a fait tout ce qu’on pouvait lui demander. Reste à décider du sort des cas où il hésite, et la réponse la plus économique consiste à les router vers une personne plutôt qu’à forcer un verdict.

Les biais connus

Les biais d’un juge automatique sont documentés et se retrouvent d’un dispositif à l’autre. Il note généreusement, avec une distribution tassée vers le haut de l’échelle, ce qui rend deux versions indiscernables. Il préfère les réponses longues, détaillées et bien présentées, y compris quand la longueur ajoute du faux. L’ordre de présentation pèse dans une comparaison par paires, une position recevant un avantage qui ne doit rien au contenu, ce qui oblige à rejouer chaque paire dans les deux sens et à ne retenir que les verdicts stables. Il se laisse aussi influencer par sa propre manière d’écrire, et préfère les réponses qui ressemblent à ce qu’il aurait produit. Enfin, il partage les angles morts de ce qu’il évalue quand c’est le même modèle des deux côtés : une erreur qu’il commet lui-même est une erreur qu’il ne voit pas, ce qui est précisément le cas où l’on aurait le plus besoin de lui. La règle de prudence tient donc en une phrase : un juge non calibré ne mesure rien, et un tableau de scores produit par un juge non calibré est plus dangereux que pas de mesure du tout, parce qu’il donne le sentiment d’avoir mesuré.