embedding (plongement)

Un embedding est un vecteur, et « proche » est une opération arithmétique sur ce vecteur. Rien d’autre : aucune compréhension n’intervient, ce qui explique aussi bien ce que le procédé réussit que ce qu’il rate.

1. 01

   Un texte devient un point

   Le texte est remplacé par une liste de nombres de longueur fixe, la même pour un mot et pour un paragraphe. La parenté se mesure ensuite par l’angle entre deux listes, ce qui permet de rapprocher deux textes ne partageant aucun mot.

   jsCopier

   plonger("comment résilier mon abonnement")
   // → [0.021, -0.184, 0.077, 0.003, ...]   1 024 nombres, toujours 1 024
   
   // la parenté est un angle, pas un recouvrement de vocabulaire
   const cos = (a, b) => produit(a, b) / (norme(a) * norme(b));
   
   cos(plonger("comment résilier mon abonnement"),
       plonger("procédure de fin de contrat"));      // 0.83  aucun mot commun
   
   cos(plonger("comment résilier mon abonnement"),
       plonger("le chat dort sur le canapé"));       // 0.04
   

   1 024

   La dimension, fixée par le modèle d’embedding. Un mot et un rapport de trente pages donnent une liste de même longueur : plus le texte est long, plus le point est un résumé moyen, donc flou.

   cos

   Une similarité cosinus : produit scalaire divisé par les normes. C’est tout le calcul, et il ne consulte rien.

   Le piègeLes valeurs ci-dessus n’ont de sens qu’à l’intérieur d’un seul espace. C’est la première des deux règles pratiques de la couche 2, et elle se voit ici : un score de 0,83 ne se compare à rien qui vienne d’un autre modèle.

2. 02

   Pourquoi le plus proche n’est pas le bon

   Voici le contre-exemple qui gouverne toute la conception d’une recherche sérieuse. Deux clauses opposées parlent du même objet, avec presque les mêmes mots : elles sont donc très proches, et le voisinage seul choisira mal.

   jsCopier

   cos(plonger("le télétravail est autorisé deux jours par semaine"),
       plonger("le télétravail n'est pas autorisé"));     // 0.91  <- opposées
   
   // d'où le tri en deux passes : rappeler large, puis juger cher
   const candidats = dedoublonner([
     ...index.parSens(question, { k: 50 }),   // voisinage : attrape les reformulations
     ...index.parMots(question, { k: 50 }),   // lexical : attrape sigles et références
   ]);
   
   // le reclassement lit la question ET le passage ensemble, par paire :
   // beaucoup plus coûteux, donc réservé aux 100 candidats, pas au corpus.
   const retenus = (await reclasser(question, candidats)).slice(0, 5);
   

   parMots

   La recherche lexicale, que le voisinage ne remplace pas : un numéro de référence, un sigle maison ou un nom propre rare se retrouvent par les caractères, pas par le sens.

   reclasser

   Un second modèle qui note la paire question/passage au lieu de comparer deux points calculés séparément. C’est ce qui rattrape le cas ci-dessus, parce qu’il lit la négation.

   Le piègeLe découpage en amont pèse autant que le modèle, et la fiche `découpage` en traite. Ce qu’il faut retenir ici : le vecteur ne rattrape jamais une coupe mal placée, il en hérite.

Ce qui varieLa dimension, les seuils et les noms d’interface varient d’un modèle d’embedding à l’autre, et les valeurs de similarité montrées ici sont illustratives : un score n’a de sens qu’à l’intérieur d’un même espace, jamais comparé à celui d’un autre modèle. Ce qui ne varie pas : un vecteur de longueur fixe, une similarité qui mesure une proximité de sens sans juger la pertinence, et un index qu’il faut recalculer entièrement dès qu’on change de modèle.