TokenouMot
Le token est l’unité que le modèle manipule et que vous payez : un fragment de texte fréquent, qui ne suit pas la grammaire. Le mot est une unité de sens, qui n’a aucune existence pour le modèle.
Point par point
| Critère | Étage 1Étage 1 · Le Modèleun bloc plein, seul : la machine à prédireToken | Mot |
|---|---|---|
| Qui l’emploie | Le modèle, et votre facture | Les humains |
| Ce qui le définit | La fréquence des suites de caractères | La grammaire et le sens |
| Stabilité | Dépend du modèle employé | Indépendant de toute machine |
| Un mot rare | Coûte plusieurs tokens | Reste un mot |
| Selon la langue | Varie fortement à contenu égal | Ne varie pas |
| Sert à mesurer | Coût, limites, fenêtre de contexte | La longueur d’un texte, pour un lecteur |
Sur le terrain quatre situations
Vous estimez qu’un document de mille mots tiendra dans une limite de mille unités.
MotVous avez raisonné en mots. Le découpage en produira davantage, et la marge que vous croyiez avoir n’existe pas.
Le même texte traduit en français coûte davantage à traiter qu’en anglais.
Étage 1 · Le Modèleun bloc plein, seul : la machine à prédireTokenLe tarif est identique par token : c’est le découpage qui diffère, les langues moins représentées étant fragmentées plus finement.
Un modèle se trompe en comptant les lettres d’un mot.
Étage 1 · Le Modèleun bloc plein, seul : la machine à prédireTokenLe contre-exemple utile : le mot lui parvient sous forme d’un ou deux fragments indivisibles. Les lettres ne lui sont pas visibles, et aucun raisonnement ne les fera apparaître.
Vous rédigez une consigne courte et dense plutôt qu’un paragraphe explicatif.
Les deuxVous avez travaillé le sens, donc les mots, et réduit la facture, donc les tokens. Les deux unités se rejoignent ici, mais elles ne mesurent pas la même chose.
Le test qui tranche
Prenez un nom propre inhabituel et faites-le compter par un compteur de tokens. S’il en vaut trois ou quatre à lui seul, vous venez de voir que l’unité du modèle n’est pas le mot.
Le piège
Convertir des pages en tokens avec un ratio unique. Le rapport dépend de la langue, du modèle et du contenu : les identifiants, les adresses et les chiffres coûtent bien plus que du texte courant.
Vérifier cliquez votre réponse
Niveau 1 · Reconnaître
Un mot correspond-il à un token ?
Niveau 2 · Distinguer
Pourquoi le nombre de tokens d’un texte n’est-il pas une propriété du texte ?
Niveau 2 · Distinguer
Pour vérifier qu’un document tiendra dans une fenêtre de contexte, que faites-vous ?