évaluation (evals)

En profondeur

Une évaluation se compose de trois pièces : un jeu de cas, un critère de réussite et un juge. Les cas viennent des usages réels et surtout des incidents passés, chaque défaut corrigé devant laisser un cas derrière lui. Le critère est la partie difficile, car « bonne réponse » se décline en exactitude, format respecté, absence d’invention, ton, coût et délai, qui ne progressent pas ensemble. Le juge peut être une comparaison exacte, une règle programmée, une personne, ou un modèle chargé de noter, chacun avec ses biais et son prix.

Évaluer un agent est plus difficile qu’évaluer une réponse, car il faut noter un chemin et pas seulement une arrivée. Deux exécutions du même cas peuvent diverger, ce qui oblige à rejouer plusieurs fois et à lire des taux plutôt que des verdicts. On y regarde le résultat final, mais aussi le nombre de tours consommés, les outils appelés à tort et les actions dangereuses évitées. Un agent qui atteint son objectif en brûlant vingt tours et en effaçant un fichier au passage n’a pas réussi, même si la réponse finale est juste.

Le premier piège est le jeu de cas figé : à force d’optimiser dessus, on règle le système pour l’examen plutôt que pour le métier. Le deuxième est le juge automatique utilisé sans contrôle, qui note généreusement, préfère les réponses longues et partage les angles morts de ce qu’il évalue. Le troisième est de croire que l’évaluation remplace la surveillance : elle regarde en arrière, sur des cas choisis, tandis que la production apporte chaque jour des situations que personne n’avait prévues. Une évaluation ne remplace donc ni les traces, ni les garde-fous, ni l’accord humain aux points irréversibles.