paramètre (poids)

En profondeur

Compter les paramètres revient à mesurer la taille du fichier, pas la compétence. Cette taille détermine surtout des contraintes matérielles : la mémoire nécessaire pour charger le modèle, le coût de chaque réponse, la possibilité de le faire tourner sur un serveur ordinaire ou sur un téléphone. Deux modèles de même taille peuvent avoir des performances très différentes selon ce qu’ils ont lu et comment ils ont été entraînés. Annoncer une taille sans annoncer de résultats mesurés ne dit donc presque rien.

La distinction avec les données d’entraînement a des conséquences juridiques et pratiques immédiates. Publier des paramètres n’est pas publier un corpus : c’est ce qui rend possible qu’un modèle soit diffusé librement alors que les textes qui ont servi à l’entraîner ne le sont pas, et c’est aussi la raison pour laquelle on ne peut pas retirer un document d’un modèle comme on le retirerait d’une base. Une donnée n’est pas dans le modèle, elle a contribué à le former, ce qui est un rapport bien plus difficile à défaire.

Deux nuances techniques valent d’être connues. La première : tous les paramètres ne sont pas toujours mobilisés. Certaines architectures n’activent qu’une fraction du réseau à chaque requête, si bien qu’un modèle annoncé très grand peut coûter comme un modèle bien plus petit. La seconde : les paramètres sont stockés avec une précision numérique choisie, et la réduire, ce qu’on appelle la quantification, divise la mémoire nécessaire au prix d’une perte de qualité souvent modeste. Le même modèle peut donc exister en plusieurs formats, de tailles très différentes.