Fenêtre de contexteouContexte
La fenêtre de contexte est une capacité du modèle : la quantité maximale de texte qu’il peut avoir sous les yeux, mesurée en tokens. Le contexte est ce que le harnais y a effectivement placé pour cette requête, et c’est un choix.
Point par point
| Critère | Étage 1Étage 1 · Le Modèleun bloc plein, seul : la machine à prédireFenêtre de contexte | Étage 2Étage 2 · Le Harnaisle bloc et ses plaques rapportées : ce qu’on lui ajouteContexte |
|---|---|---|
| Ce que c’est | Une limite | Un contenu |
| Qui la fixe | L’éditeur du modèle | Celui qui construit le système |
| Change quand | On change de modèle | À chaque requête |
| Se mesure en | Tokens disponibles | Tokens consommés |
| Quand c’est trop petit | Il faut un autre modèle | Il faut mieux choisir quoi mettre |
| Ce qu’on paie | Rien : c’est une capacité | Tout : le contexte est facturé |
Sur le terrain quatre situations
Un modèle annonce accepter deux cent mille tokens.
Étage 1 · Le Modèleun bloc plein, seul : la machine à prédireFenêtre de contexteC’est une capacité annoncée, indépendante de l’usage. Elle ne coûte rien tant qu’on ne la remplit pas.
Votre système envoie à chaque requête une instruction permanente, cinq documents et l’historique de la conversation.
Étage 2 · Le Harnaisle bloc et ses plaques rapportées : ce qu’on lui ajouteContexteC’est un assemblage décidé par vous, refait à chaque appel, et facturé à chaque fois.
Une conversation longue perd une consigne donnée au début.
Les deuxLe contexte a dépassé la fenêtre : le contenu a débordé de la capacité. Le remède est côté harnais, résumer ou réinjecter, pas côté modèle.
Un système remplit systématiquement la fenêtre au maximum « pour ne rien perdre ».
Étage 2 · Le Harnaisle bloc et ses plaques rapportées : ce qu’on lui ajouteContexteLe contre-exemple utile : la capacité disponible n’est pas un objectif à atteindre. Un contexte encombré coûte plus cher et dégrade la qualité, l’essentiel se noyant dans le reste.
Le test qui tranche
Demandez si la valeur change quand vous modifiez votre code sans changer de modèle. Ce qui bouge est le contexte. Ce qui reste identique est la fenêtre.
Le piège
Traiter une grande fenêtre comme la solution aux problèmes de pertinence. Plus de place ne veut pas dire mieux choisi : au-delà d’un certain remplissage, les modèles retrouvent moins bien une information noyée au milieu, et la facture suit la longueur.
Vérifier cliquez votre réponse
Niveau 1 · Reconnaître
Qu’est-ce qui est facturé à chaque requête ?
Niveau 2 · Distinguer
Votre système atteint la limite. Quelle est la première question à se poser ?
Niveau 2 · Distinguer
Une fenêtre plus grande améliore-t-elle la qualité des réponses ?