réseau de neurones

En profondeur

Un neurone artificiel fait trois choses : il multiplie chacune de ses entrées par un coefficient, il additionne le tout, puis il fait passer le résultat dans une petite fonction qui casse la linéarité. C’est cette dernière étape qui compte : sans elle, empiler mille couches reviendrait exactement à une seule, et le réseau ne pourrait représenter que des relations proportionnelles. Les coefficients s’appellent des paramètres, et ce sont eux, et eux seuls, qui constituent ce qu’un modèle a appris.

L’ajustement se fait par rétropropagation. On présente un exemple, on compare la sortie à la réponse attendue, on mesure l’écart, puis on remonte le réseau à l’envers pour calculer la part de chaque coefficient dans cet écart, et on le corrige un peu dans le bon sens. Répétée des milliards de fois sur des milliards d’exemples, cette opération très simple suffit à faire émerger des comportements que personne n’a écrits. C’est aussi ce qui rend l’entraînement coûteux et l’usage bon marché : régler la table de mixage prend des mois, s’en servir ensuite prend une fraction de seconde.

L’opacité est donc mal nommée. Rien n’est caché : on peut lire chaque paramètre et rejouer chaque opération. Ce qui manque est une lecture au niveau où l’on voudrait juger, celui des raisons. On ne peut pas pointer un endroit du réseau et dire « c’est ici qu’il a décidé de refuser le dossier », parce que l’information n’est pas rangée à un endroit mais distribuée sur des milliards de valeurs. C’est une propriété structurelle, pas un défaut d’ingénierie, et c’est ce qui rend indispensable de mesurer les comportements plutôt que d’espérer les inspecter.