usage à haut risque

En profondeur

La qualification en deux temps

La qualification se lit en deux temps. D’abord un domaine : le règlement européen sur l’intelligence artificielle énumère les champs où une décision engage l’existence d’une personne. On y trouve l’accès à l’emploi et la gestion des salariés, l’éducation et l’évaluation des apprenants, l’accès au crédit et aux services essentiels. S’y ajoutent plusieurs domaines régaliens, du maintien de l’ordre à la justice, migration et contrôle des frontières compris, ainsi que certains emplois de la biométrie. À cela s’ajoutent les cas où un système d’IA sert de composant de sécurité à un produit déjà réglementé par ailleurs. Ensuite un rôle : à l’intérieur de ces domaines, ce qui compte est la place que le système occupe dans la décision, et un dispositif qui prépare, filtre ou hiérarchise ne se range pas parmi les accessoires dès lors qu’il oriente ce que la personne obtient. Le texte prévoit qu’un usage listé puisse être écarté de la catégorie lorsque son apport reste étroit et sans influence réelle, mais cet écart se démontre et se documente : ce n’est pas une auto-déclaration silencieuse. La conséquence pratique est qu’on ne répond jamais à la question depuis le catalogue d’un fournisseur : il faut décrire l’usage réel.

Ce qu’elle déclenche

Ce que la qualification déclenche se lit mieux comme un ensemble de capacités à démontrer que comme une liste de formulaires à remplir. Il faut pouvoir montrer que les risques ont été identifiés et suivis dans la durée, et non estimés une fois pour toutes au lancement. Il faut pouvoir rendre compte des données employées : d’où elles viennent, ce qu’elles couvrent et ce qu’elles laissent de côté, ce qui est le point de contact direct avec la question des biais. Il faut une documentation technique qui décrive ce que le système fait, sur quoi il repose et dans quelles limites il vaut, ainsi qu’une journalisation permettant de reconstituer un cas contesté des mois plus tard. Il faut une supervision humaine effective, c’est-à-dire confiée à quelqu’un qui dispose du temps, de l’information et de l’autorité d’interrompre : la formulation vise explicitement les validations de façade, et c’est le point où la plupart des dispositifs se vident de leur substance. Il faut enfin que les personnes concernées sachent qu’un système intervient, et puissent en discuter le résultat quand une décision les vise. Ces exigences se répartissent le long de la chaîne, celui qui fournit ne répondant pas des mêmes choses que celui qui emploie, et c’est pourquoi la conformité annoncée par un fournisseur ne referme jamais la question de l’organisation qui déploie.

L’usage interne

Le piège principal consiste à croire qu’un usage interne échappe à la qualification. L’intuition vient du droit de la consommation, où le sujet est le produit vendu, alors qu’ici le point de départ est la conséquence pour la personne : les emplois qui touchent des salariés, du recrutement à l’affectation et à l’évaluation, comptent parmi les plus encadrés. Le deuxième piège est le raisonnement par la décision « seulement assistée ». Ranger un système parmi les aides parce qu’une personne signe à la fin ne prouve rien : encore faut-il regarder ce qui se passe avant cette signature. Un dispositif qui écarte les trois quarts des dossiers avant qu’un humain les voie oriente bel et bien la décision. Le troisième est de traiter la qualification comme un état acquis, alors qu’un usage dérive, qu’un système évolue et qu’un pilote devient un déploiement : la question se repose à chaque élargissement. Le quatrième est de confondre l’outil et l’emploi, ce qui donne le sentiment d’avoir traité le sujet parce qu’un fournisseur a produit une attestation. La conclusion utile n’est pas juridique mais organisationnelle : ce qu’il faut savoir produire, c’est une description honnête de l’usage réel, de qui subit la décision et de ce que le système y change, puis porter cette description à qui sait la qualifier.