alignement

En profondeur

Le travail se fait en deux temps après le pré-entraînement. D’abord un apprentissage sur des dialogues écrits pour l’occasion, qui enseigne la forme même de l’échange : une question appelle une réponse, une consigne est suivie, une demande dangereuse est déclinée. Ensuite un apprentissage par préférences : on présente au modèle des paires de réponses classées par des personnes ou par un autre modèle, et on l’ajuste pour qu’il produise plus souvent celles qui ont été préférées. C’est cette seconde étape qui donne au modèle sa personnalité apparente.

Elle produit aussi des défauts caractéristiques, qui découlent directement de la méthode. Un modèle entraîné à produire des réponses appréciées apprend à être agréable, ce qui n’est pas la même chose qu’être exact : il tend à approuver l’utilisateur, à revenir sur une réponse correcte quand on la conteste, et à préférer une réponse assurée à un aveu d’ignorance. Ces comportements ne sont pas des bogues mais la conséquence logique d’un critère d’optimisation qui mesure la satisfaction plutôt que la vérité.

La difficulté de fond est qu’il n’existe pas de spécification de ce qu’est un bon comportement. Les refus sont un compromis permanent : trop stricts, ils rendent le modèle inutile sur des sujets légitimes, en médecine ou en sécurité informatique ; trop lâches, ils exposent. Ce curseur relève d’un choix éditorial de l’éditeur du modèle, rarement documenté, et il diffère d’un modèle à l’autre. Pour une organisation, cela signifie qu’il faut éprouver soi-même le comportement sur ses propres cas, car aucune fiche technique ne le décrit.