few-shot

En profondeur

Zero, one, few

Le mot « shot » désigne un exemple fourni dans la demande, et il se décline. Zero-shot : la consigne seule, sans aucun exemple. One-shot : un exemple. Few-shot : quelques-uns, en pratique de deux à cinq. Ces trois termes viennent de l’apprentissage automatique, où ils qualifiaient la capacité d’un système à généraliser à partir de très peu de données d’entraînement. Appliqués à un modèle de langage déjà entraîné, ils ne décrivent plus un apprentissage mais un contenu de contexte, et c’est de ce glissement que naît la confusion avec le fine-tuning : dans un cas les poids bougent une fois pour toutes, dans l’autre rien ne bouge et tout se rejoue à chaque appel.

Pourquoi l’exemple porte

Ce qui rend un exemple plus efficace qu’une description, c’est qu’il transporte plusieurs choses à la fois sans qu’aucune ait besoin d’être nommée : le format, la longueur, le ton, le niveau de détail, le traitement des cas limites. Une description doit les énumérer, et elle en oublie toujours. Le geste le plus rentable est d’y ajouter un contre-exemple, accompagné d’une phrase disant ce qui cloche dedans : deux exemples justes indiquent une direction, un exemple faux montre où passe la frontière. Il est utile, ensuite, de demander quelle règle a été déduite des exemples fournis : la réponse est le véritable cahier des charges, celui que personne n’aurait su écrire, et elle contient souvent une clause qu’on n’avait pas voulue.

Le coût et ses défauts

Le coût est réel et se paie à chaque appel : les exemples occupent la fenêtre de contexte et se facturent en tokens, ce que le cache de prompt atténue quand le bloc reste stable en tête de requête. Trois défauts se rencontrent régulièrement. Des exemples trop homogènes produisent un pastiche, le modèle imitant leur surface plutôt que leur logique. L’ordre pèse, le dernier exemple ayant plus d’influence que le premier, ce qui rend une comparaison peu fiable si l’on change les exemples de place entre deux essais. Enfin, quand la tâche exige un comportement stable sur un grand volume d’appels et que le bloc d’exemples devient encombrant, la question du fine-tuning se pose sérieusement : c’est le moment où l’on préfère payer une fois plutôt qu’à chaque requête.