base vectorielle

En profondeur

Le principe tient en une opération : transformer un texte en une suite de nombres qui situe son sens, puis comparer ces positions entre elles. Deux passages qui parlent de la même chose avec des mots différents se retrouvent voisins, ce qu’aucune recherche par mots exacts ne permet. Interroger la base revient donc à situer la question de la même manière, puis à rapporter les passages les plus proches. La base ne comprend rien : elle mesure des proximités, et c’est le modèle, plus loin dans la chaîne, qui lira les passages rapportés.

La qualité d’une base vectorielle se joue avant la recherche, au moment où l’on prépare le corpus. Le découpage des documents décide de ce qui pourra être retrouvé : des passages trop courts perdent le contexte qui les rendait compréhensibles, trop longs ils noient l’information utile dans du remplissage. La façon dont les textes sont situés compte tout autant, et en changer oblige à tout reprendre, puisque les anciennes positions ne sont plus comparables aux nouvelles. Enfin, la proximité de sens ignore la logique : une clause et son exception se ressemblent, une procédure et sa version abrogée aussi, et rien dans la mesure ne dit laquelle fait foi.

Le premier piège est de croire que la ressemblance vaut pertinence. Une base rapporte toujours quelque chose, même quand la réponse n’existe nulle part dans le corpus, et un modèle qui reçoit un passage hors sujet répond avec le même aplomb que s’il était juste. Le deuxième est l’oubli des droits : indexer un corpus met à plat des documents qui, dans leur système d’origine, n’étaient pas visibles de tous, et la recherche par le sens ne rétablit pas ces cloisons d’elle-même. Le troisième est l’entretien : un corpus qu’on alimente sans jamais élaguer accumule les versions contradictoires, et le système finit par citer fidèlement un texte périmé.