tokenisation

En profondeur

L’outil et l’opération

Deux objets se distinguent, et les confondre brouille tout le reste : le tokeniseur est l’outil, la tokenisation est l’opération. Le tokeniseur tient en deux pièces, un vocabulaire de fragments et un algorithme de découpe. Le vocabulaire se construit avant l’entraînement du modèle, sur un corpus de textes : on part des caractères seuls, on fusionne itérativement les paires les plus fréquentes, et l’on s’arrête à une taille de vocabulaire fixée d’avance. Tokeniser un texte, c’est ensuite appliquer cette table de gauche à droite en retenant la plus longue correspondance disponible, puis remplacer chaque fragment par son numéro. L’opération est exactement réversible, la suite d’entiers se retraduisant caractère pour caractère, ce qui la sépare nettement de l’embedding, qui perd la lettre pour garder le sens. Elle joue dans les deux sens : à chaque étape de la génération, le modèle choisit un fragment de ce même vocabulaire, jamais un mot ni une lettre.

La taille du vocabulaire

La taille du vocabulaire est un arbitrage. Large, il produit des fragments longs, donc des séquences courtes et moins de calcul par texte, au prix d’une table d’entrée et de sortie plus lourde à porter. Étroit, il fait l’inverse. La composition du corpus qui a servi à le construire décide ensuite du coût de chaque langue : ce qui y était rare est fragmenté plus finement, à contenu identique, si bien qu’une même phrase ne vaut pas le même nombre de tokens d’une langue à l’autre. Deux effets pratiques en découlent, et ils se cumulent : la fenêtre de contexte se remplit plus vite, et le coût par token se paie sur davantage de tokens. Les chiffres sont un cas à part, leur découpe pesant assez sur l’arithmétique pour qu’on les traite désormais par groupes réguliers plutôt que comme des suites fréquentes. Comme le vocabulaire appartient au modèle et est figé avec lui, changer de modèle change tous les comptes : un budget établi sur l’un ne se transporte pas sur l’autre.

Le piège

Le premier piège est celui que cette fiche existe pour lever : chercher un réglage de tokenisation là où il faut revoir un découpage. Le deuxième touche aux tâches de caractères, compter les lettres d’un mot, l’écrire à l’envers, juger d’une rime : le mot arrive en une pièce indivisible, et les lettres qui le composent ne sont pas directement visibles. Le troisième est le comptage à vue, qui se trompe le plus là où l’enjeu est le plus fort : identifiants, adresses, code et tableaux approchent un token par caractère, et seul un compteur du modèle visé donne un chiffre exploitable. Le quatrième est la troncature silencieuse, puisqu’un texte qui dépasse la fenêtre n’est pas refusé mais coupé, et c’est presque toujours une estimation approximative qui l’a laissé arriver là. Le dernier relève de la sécurité : des caractères invisibles ou des variantes visuellement identiques produisent des suites de fragments différentes, ce qui permet de faire lire au modèle autre chose que ce qu’une personne voit à l’écran.