RAG

En profondeur

Un RAG travaille en deux temps. En amont, les documents sont découpés en passages et indexés de façon à pouvoir être retrouvés par le sens, et pas seulement par les mots exacts qu’ils contiennent. Au moment de la question, le harnais interroge cet index, sélectionne quelques passages et les ajoute au contexte, juste avant la demande de la personne. Le modèle lit cet ensemble et rédige sa réponse à partir de ce qu’il a sous les yeux, ce qui permet d’exiger qu’il cite les passages sur lesquels il s’appuie.

Tout cela se joue dans le harnais : les poids du modèle ne bougent jamais. C’est la différence de fond avec le fine-tuning, qui poursuit l’entraînement et transforme le modèle lui-même. La conséquence pratique est nette : mettre à jour une information revient à modifier un document, et retirer une information revient à la supprimer du corpus, sans qu’aucun entraînement soit relancé. En contrepartie, le coût se déplace vers chaque requête, puisque les passages retrouvés occupent la fenêtre de contexte et se paient à chaque appel.

Le piège le plus courant est de croire qu’un RAG supprime les hallucinations. Il réduit surtout les occasions d’en produire, en donnant au modèle la matière qui lui manquait ; si la recherche ramène le mauvais passage, le modèle répondra avec le même aplomb sur une base fausse. La qualité d’un RAG se joue donc d’abord dans la recherche, rarement dans le choix du modèle : découpage des documents, fraîcheur du corpus, versions contradictoires qui cohabitent, droits d’accès qui ne sont pas répercutés. Un corpus que l’on n’élague jamais finit par se retourner contre le système, qui cite alors fidèlement une procédure abrogée.