découpage (chunking)

En profondeur

Le compromis est simple à énoncer et difficile à trancher. Des fragments courts donnent une recherche précise mais amputée : la clause remonte sans l’article qui la conditionne, le tableau sans sa légende, la réponse sans la question. Des fragments longs conservent le contexte mais diluent le sens : leur représentation devient une moyenne floue qui ne ressemble plus à rien, et la recherche les rate. Aucune taille universelle n’existe, parce que la bonne unité dépend de la structure de vos documents.

La solution robuste consiste à découper selon la structure plutôt qu’au mètre. Un contrat se coupe par article, un manuel par section, un compte rendu par point d’ordre du jour, une page web par titre de niveau. Deux ajouts font le reste : un recouvrement entre fragments voisins, pour qu’une phrase à cheval ne soit perdue par aucun des deux, et un en-tête de rappel sur chaque fragment, portant le titre du document et le chemin de la section, afin qu’un fragment isolé reste lisible.

Un piège fréquent mérite d’être nommé : le tableau. Découpé au milieu, il perd ses en-têtes et devient une suite de nombres sans signification, que le modèle interprétera avec assurance. Les documents composites, où alternent texte, tableaux et images, exigent donc un traitement préalable qui reconnaît ces blocs et les garde entiers. C’est un travail de préparation documentaire, souvent le plus long d’un projet de recherche interne, et il ne se délègue pas à une bibliothèque générique.