multimodal

En profondeur

Le mécanisme est le même que pour le texte, à un détail près. Une image est découpée en carrés, un son en tranches, et chaque morceau est converti en une représentation numérique de même nature que celle d’un fragment de texte. À partir de là, l’attention traite indifféremment tous ces éléments : rien dans l’architecture ne distingue un carré d’image d’un bout de mot. C’est ce qui permet à une question écrite de porter sur une zone précise d’une image, sans passe intermédiaire.

Il faut distinguer l’entrée et la sortie, que le mot recouvre indistinctement. Beaucoup de modèles lisent des images et n’écrivent que du texte : on les qualifie de multimodaux, à juste titre, mais ils ne dessinent rien. D’autres produisent des images ou du son, et relèvent alors de la génération dans ces domaines. Un système qui semble tout faire combine en général plusieurs modèles derrière une même interface, ce qui est une affaire de harnais et non de modèle.

Les conséquences pratiques sont concrètes et souvent sous-estimées. Un document numérisé, une capture d’écran, un schéma annoté à la main deviennent des entrées directes, ce qui supprime des chaînes entières de conversion. En contrepartie, les images coûtent cher : une seule peut consommer autant de tokens que plusieurs pages de texte, et la facture d’un traitement documentaire s’en ressent. Enfin, la qualité de lecture reste inégale sur les tableaux denses et l’écriture manuscrite, ce qui se vérifie sur ses propres documents avant de s’engager.