Supervision humaine
Obligation, posée par l'AI Act, de maintenir un contrôle humain effectif sur un système d'IA à haut risque afin de prévenir ou de corriger ses défaillances.
Tempe, Arizona, mars 2018 : un Volvo XC90 d'Uber en essai de conduite autonome tue Elaine Herzberg, qui traversait de nuit en poussant son vélo. D'après les relevés de Hulu obtenus par la police de Tempe, l'opératrice de sécurité regardait The Voice sur son téléphone quelques minutes avant le choc. L'article 14 de l'AI Act exige qu'un système d'IA à haut risque puisse être supervisé par des personnes physiques pendant son utilisation. L'opérateur doit pouvoir comprendre les sorties du système, en repérer les anomalies, passer outre une décision ou interrompre son fonctionnement en cas de besoin. La règle vise le biais d'automatisation, cette tendance à trop se fier à une recommandation de la machine, et complète d'autres dispositifs comme l'humain dans la boucle. Une présence symbolique ne suffit pas : il faut des compétences, des interfaces adaptées et une capacité d'agir réelle. Une supervision absente ou de façade est un manquement, qui peut fonder une faute ou un défaut au regard du régime de responsabilité.
Cas d'école : un outil d'aide à la souscription doit laisser à un souscripteur la possibilité de revoir et d'écarter une décision automatisée de refus, faute de quoi la supervision humaine exigée par l'AI Act ne serait qu'apparente.
- Police de Tempe, rapport d'enquête sur la collision du 18 mars 2018, rendu public en juin 2018 (relayé par Bloomberg, 22 juin 2018)
surveillance humaine, human oversight, contrôle humain
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.