contexte

En profondeur

Le contexte est reconstitué intégralement à chaque requête : rien ne persiste côté modèle entre deux appels. Le harnais y empile en général des instructions permanentes, l’historique de l’échange, les extraits de documents retrouvés pour l’occasion, la description des outils disponibles et enfin votre demande. Cet assemblage est une décision de conception, pas une fatalité technique : l’ordre, le volume et le tri sont des réglages qu’on peut mesurer. Le modèle, lui, ne distingue pas l’origine de ce qu’il lit : tout lui arrive comme un seul texte continu.

Deux conséquences en découlent, souvent contre-intuitives. La première est économique : le contexte est relu en entier à chaque requête, donc son volume se paie à chaque tour et non une fois pour toutes. La seconde est qualitative : au-delà d’un certain remplissage, ajouter du texte dégrade la réponse, car l’information utile se dilue et les éléments placés au milieu sont moins bien exploités que ceux du début ou de la fin. Remplir la fenêtre parce qu’elle est grande est donc un mauvais réflexe : la compétence consiste à choisir et à ordonner, pas à tout verser.

Quand l’assemblage dépasse la fenêtre, il faut trancher, et le harnais tranche toujours : il tronque, il résume ou il écarte. Ce qui ressemble à un oubli du modèle est donc presque toujours une décision prise en amont, invisible pour l’utilisateur. Un deuxième piège tient à l’absence de hiérarchie : une consigne de sécurité et une phrase piégée cachée dans un document parviennent au modèle sous la même forme, du texte. Un troisième est la confidentialité : tout ce qu’on place dans le contexte est transmis au modèle, y compris ce qu’on n’avait pas l’intention de partager.