biais

En profondeur

Les biais entrent par plusieurs portes. Par les données d’abord, qui reflètent le monde tel qu’il est écrit, avec ses déséquilibres de représentation : une profession majoritairement exercée par un groupe se retrouvera associée à lui. Par le filtrage ensuite, qui écarte des contenus selon des critères qui ne sont jamais neutres. Par l’alignement enfin, qui installe des préférences de comportement à partir de jugements humains, eux-mêmes situés. Chacune de ces étapes est un choix, et l’absence de choix explicite en est un aussi.

La conséquence la plus lourde survient quand un système appris trie des personnes : candidatures, dossiers de crédit, priorités de traitement. Un écart systématique devient alors une discrimination, avec des conséquences juridiques, et il se transmet à grande échelle et à grande vitesse, ce qui le distingue d’un préjugé individuel. C’est la raison pour laquelle les réglementations classent ces usages parmi les plus encadrés, et exigent une documentation des mesures prises plutôt qu’une déclaration d’intention.

La seule approche solide est la mesure. Un biais ne se voit pas en lisant quelques réponses : il se voit en comparant les sorties sur des entrées identiques dont on n’a fait varier qu’un attribut, sur des volumes suffisants pour que l’écart soit significatif. Ce protocole appartient à l’évaluation, et il doit être rejoué à chaque changement de version, puisqu’une mise à jour de modèle peut déplacer un comportement sans prévenir. Il faut aussi accepter une limite : réduire un écart sur un critère peut en creuser un autre, et arbitrer entre plusieurs définitions de l’équité est une décision politique, pas un réglage technique.