trace

En profondeur

Ce qu’elle enregistre

Une trace utile enregistre l’enchaînement complet d’une exécution : la demande initiale, le contexte réellement assemblé, chaque appel au modèle, chaque outil sollicité avec ses paramètres et son résultat, puis la sortie finale. Chaque tour porte un identifiant qui le rattache à l’exécution entière, faute de quoi on obtient des fragments impossibles à recoudre. S’y ajoutent les mesures qui rendent la relecture exploitable : durée, volume lu et produit, version des instructions en vigueur ce jour-là. La question à laquelle une trace doit répondre se formule simplement et s’outille difficilement : que lisait le modèle au moment précis où il a pris cette décision.

Quand elle devient nécessaire

Sur un système qui répond en un tour, on se passe souvent de trace, puisque l’entrée et la sortie suffisent à comprendre. Sur un agent, c’est impossible, car la décision fautive s’est prise plusieurs tours avant le résultat visible, à partir d’une observation entrée en chemin. Sans trace, il ne reste que la conjecture et la tentative de reproduction, laquelle échoue souvent puisque deux exécutions du même cas peuvent diverger. La trace ne se confond pas non plus avec la mémoire : la mémoire est ce que le système se redonne à lire pour continuer, la trace est ce que des personnes relisent pour comprendre. C’est aussi elle qui alimente les évaluations, chaque incident réel pouvant devenir un cas d’épreuve.

Les pièges

Le premier piège est la trace incomplète : on enregistre les appels aux outils mais pas le contexte assemblé, si bien qu’on voit ce qui a été fait sans jamais savoir pourquoi. Le deuxième est la trace qui devient elle-même un risque, car elle contient par construction des données personnelles, des secrets et des documents internes, ce qui en fait un traitement à déclarer, à protéger et à purger. Le troisième est le volume, puisque tracer intégralement un agent bavard coûte parfois davantage que l’exécuter, d’où un échantillonnage qu’il vaut mieux assumer que subir. Une trace se conçoit donc avec un périmètre et une durée de conservation décidés à l’avance, pas accumulés par défaut.