Boîte noire algorithmique

La boîte noire algorithmique désigne un système, typiquement un réseau de neurones profond, dont on peut observer les entrées et les sorties mais dont le cheminement interne ayant conduit à une décision donnée demeure largement inexplicable, y compris pour ses propres concepteurs. Cette opacité ne résulte pas d'un secret commercial mais de la nature même de ces modèles, dont la décision émerge de l'interaction de milliards de paramètres au sein d'espaces vectoriels de très grande dimension, sans représentation symbolique interprétable. Pour la gestion des risques et la théorie de l'agence, cette opacité crée une asymétrie d'information d'un type nouveau. Le principal humain, le dirigeant ou l'assureur, conserve la maîtrise de l'intention, mais perd le pouvoir d'auditer la chaîne de raisonnement qui a produit un résultat. Le mémoire d'AlgoPolis montre que cette cécité structurelle remplace l'aléa moral classique de l'employé humain par une opacité technologique, et qu'elle alourdit les coûts de supervision au point de menacer l'efficience promise par l'automatisation. La recherche en explicabilité, dite XAI, tente de rendre les décisions plus interprétables, mais ses progrès restent partiels, et la boîte noire demeure l'un des principaux obstacles à l'usage de l'IA dans les domaines réglementés et à son assurabilité.

Un agent refuse d'indemniser un sinistre sur la base d'un raisonnement que ni l'assuré ni l'assureur ne peuvent reconstituer, l'opacité du modèle empêchant toute justification auditable de la décision.

boîte noire, black box, opacité algorithmique