évaluation (evals)

Une évaluation est un jeu de cas versionné, pas un tableau de scores. Voir la forme d’un cas répond à la question que tout le monde repousse : que note-t-on exactement, et qui décide que c’est bon.

1. 01

   La forme d’un cas

   Un cas porte son entrée, ses juges et son origine. Les trois comptent, et le troisième plus qu’on ne croit : un cas dont on a oublié pourquoi il existe est un cas que personne n’ose modifier ni supprimer.

   jsCopier

   {
     id: 'plafond-2024',
     entree: 'Quel est mon plafond de remboursement ?',
     origine: 'incident du 2026-03-14',   // chaque défaut corrigé laisse un cas
   
     // « bonne réponse » n'existe pas : trois critères, notés séparément,
     // parce qu'ils ne progressent pas ensemble
     juges: [
       exact((r) => r.montant === 2400),                 // programmé : sûr, étroit
       regle((r) => r.cite('contrat-2024.pdf')),         // programmé : vérifiable
       modele('La réponse invente-t-elle un chiffre ?'), // modèle : large, biaisé
     ],
   }
   

   exact

   Le juge le moins cher et le plus fiable, quand il s’applique. Toute la compétence consiste à formuler assez de cas pour qu’il s’applique souvent.

   modele

   Le juge modèle : indispensable pour ce qui ne se compare pas caractère à caractère, et le seul des trois dont la note ne vaut rien tant qu’on ne l’a pas confronté à un échantillon corrigé à la main. Ses biais sont documentés, la fiche `juge-automatique` les détaille.

   Le piègeLe champ « origine » est ce qui permet de renouveler le jeu de cas depuis le réel au lieu de le laisser vieillir. Sans lui, on ne sait plus quel incident une ligne protégeait, donc on n’ose ni la retirer ni la remplacer, et le jeu se fige.

2. 02

   Noter un chemin, pas une arrivée

   Évaluer un agent demande de rejouer : deux exécutions du même cas divergent. On lit donc des taux et non des verdicts, et on regarde le trajet autant que la réponse, parce qu’un objectif atteint peut l’avoir été d’une façon inacceptable.

   jsCopier

   const runs = await Promise.all(
     Array.from({ length: 10 }, () => executer(cas)),   // le même cas, dix fois
   );
   
   const bilan = {
     reussite: taux(runs, (r) => r.ok),                 // un taux, pas un verdict
     tours: mediane(runs, (r) => r.tours),              // ce que le chemin coûte
     outils_a_tort: taux(runs, (r) => r.appels.some((a) => !a.utile)),
     irreversibles_sans_accord: runs.filter((r) => r.aAgiSansConfirmation).length,
   };
   
   // un agent qui atteint l'objectif en vingt tours et efface un fichier au
   // passage n'a pas réussi : le taux de réussite seul ne le dirait jamais.
   if (bilan.irreversibles_sans_accord > 0) echouer(bilan);
   

   length: 10

   Le nombre de rejeux. Il n’a pas à être grand, il a à être constant : c’est la comparaison d’une version à l’autre qui informe, pas la valeur absolue.

   irreversibles_sans_accord

   Le seul critère du lot qui n’est pas un taux mais un compte, parce qu’il ne se moyenne pas : une seule occurrence suffit à faire échouer la version.

   Le piègeCe compte fait échouer une version à lui seul, et c’est voulu : sur les actions sans retour, un taux n’a pas de sens, puisqu’il resterait excellent en laissant passer le cas qu’on cherchait précisément à empêcher.

Ce qui varieLes outillages d’évaluation exposent chacun leur vocabulaire, et les noms employés ici sont ceux du sens commun, pas d’un produit. Ce qui ne varie pas : plusieurs critères notés séparément plutôt qu’un score unique, un rejeu pour lire des taux dès qu’un agent est en jeu, un juge modèle qu’il faut lui même contrôler, et des cas qui viennent des incidents réels.