hallucination

En profondeur

Le mécanisme

Le modèle attribue à chaque suite possible une probabilité et en tire une : rien dans ce mécanisme ne distingue une suite vraie d’une suite seulement vraisemblable. Quand l’information demandée est absente, rare ou contradictoire dans ce qu’il a appris, la continuation la plus plausible reste une phrase bien formée, et elle sort avec l’assurance de toutes les autres. Les inventions les plus dangereuses sont donc les plus crédibles : une référence au bon format, une décision de justice au nom d’une juridiction réelle, un auteur existant associé à un ouvrage qu’il n’a jamais écrit. Le ton assuré ne mesure rien : c’est un trait de style, pas un indicateur de fiabilité.

Toutes les erreurs n’en sont pas

Toutes les réponses fausses ne sont pas des hallucinations, et la distinction commande la correction. Une information exacte mais périmée relève de la date à laquelle s’arrête la connaissance du modèle ; une erreur de calcul relève du raisonnement ; une réponse fondée sur un document erroné relève de la qualité de la source. L’hallucination au sens strict, c’est l’affirmation d’un contenu sans support : elle se traite en donnant au modèle de quoi s’appuyer et en vérifiant que ce qu’il avance figure bien dans ce support. Ranger tout échec sous le même mot conduit à traiter un problème de sources par un changement de modèle, ce qui ne corrige rien et coûte un trimestre.

Ce qui réduit sans supprimer

Aucune technique connue ne supprime le phénomène : elles en réduisent la fréquence et surtout la portée. Fournir les documents pertinents et exiger que chaque affirmation renvoie à un extrait déplace le problème du bon côté, puisqu’une affirmation sans source devient repérable avant publication. Demander au modèle s’il est certain de sa réponse n’apporte rien de fiable, cette réponse étant produite par le même procédé que la précédente. Réduire la variabilité du tirage rend les sorties plus stables, pas plus vraies : un modèle peut se tromper de façon parfaitement reproductible. Le garde-fou décisif reste organisationnel : décider quelles affirmations engagent, et imposer une vérification humaine à ces endroits précis plutôt que partout ou nulle part.