Ingénieur d’évaluation
Celui qui écrit le barème avant de regarder la copie
Un ingénieur d’évaluation construit les épreuves qui disent si un système répond bien, et il les écrit avant de voir les réponses, comme un examinateur qui compose son barème avant de corriger.
- Étage 2Le Harnais
- P2Écrit l’application
- Titre émergentIl est apparu récemment. Son contenu n’est pas encore stable d’un employeur à l’autre.
Ce dont il répond
Le livrableUn jeu d’épreuves et son barème, plus le chiffre qui autorise ou non une mise en production. S’il part, plus personne ne sait dire si la dernière modification a amélioré quoi que ce soit.
Le profil
Cinq gestes, notés de 0 à 3- ChercherProduire une connaissance qui n’existe pas encore.
- ConstruireLivrer un système qui tourne, se déploie et se casse.
- ExploiterTenir en production : coût, incidents, dérive, astreinte.
- VérifierMesurer, éprouver, attaquer. Produire un verdict opposable.
- ConduireArbitrer, convaincre, faire adopter, répondre devant un tiers.
En quoi ça consiste
Pourquoi le poste existe
Un logiciel ordinaire se teste : on connaît la sortie attendue et on la compare. Un système qui répond en langue n’a pas de sortie attendue, il a des réponses plus ou moins bonnes. Le métier consiste à rendre ce « plus ou moins » mesurable, et reproductible d’une semaine à l’autre.
L’ordre des opérations
Ce qui le distingue de la qualité logicielle est l’ordre des opérations. On écrit le barème d’abord, sur des cas choisis pour ce qu’ils vont révéler, et on regarde les réponses ensuite. Écrire le barème après revient à noter ce qu’on a obtenu, ce qui donne toujours un bon résultat.
Le piège
Le piège est que le poste passe pour secondaire tant que rien n’a échoué en public. C’est le métier le plus sous-estimé de l’étage, et le premier réclamé après le premier incident. Une annonce qui le crée après coup décrit souvent un poste sans autorité : mesurer sans pouvoir arrêter une mise en production ne sert à personne.
Une semaine
- Des cas d’épreuve écrits avec des gens du métier concerné, qui savent seuls ce qu’est une bonne réponse.
- Du code : la chaîne qui rejoue les épreuves à chaque modification, et qui range les résultats.
- Des arbitrages sur le barème, quand deux personnes du métier ne notent pas pareil.
- Une conversation régulière avec le produit : ce chiffre-là autorise-t-il la mise en ligne, ou non.
Par où l’on y arrive
- De la qualité logicielle, en acceptant de quitter le « passe ou échoue » qui en faisait la sécurité.
- D’un métier de terrain, quand on est celui qui sait ce qu’est une bonne réponse. C’est la voie la moins évidente et la plus utile.
- Ce que le poste n’exige pas malgré les annonces : entraîner un modèle. On mesure, on n’améliore pas soi-même.
Lire une offre
2 signes- L’annonce parle de « tests automatisés » et cite un cadre de test logiciel.
- C’est de l’assurance qualité classique. Le poste décrit ne rencontre pas le problème du barème, qui est le métier.
- Rien ne dit qui tranche quand la note est mauvaise.
- Mesurer sans autorité de blocage produit un tableau de bord que personne ne lit. Posez la question avant de signer.