Tendance humaine à faire une confiance excessive aux sorties d'un système automatisé, jusqu'à cesser de les vérifier, ce qui amplifie les erreurs de l'IA.
Le biais d'automatisation désigne la propension des êtres humains à accorder une confiance excessive aux recommandations ou aux décisions d'un système automatisé, au point de relâcher leur vigilance et de cesser de les vérifier, y compris lorsque ces sorties sont erronées. Ce biais découle d'un mélange de commodité, l'automatisation soulageant un effort cognitif, et de présomption de fiabilité, la machine étant perçue comme objective et compétente. Sa conséquence est paradoxale, le dispositif de contrôle censé garantir la sécurité, à savoir le maintien d'un humain dans la boucle, perd l'essentiel de sa valeur lorsque cet humain se contente d'entériner les sorties du système sans réel examen. Le biais d'automatisation est ainsi l'un des principaux mécanismes par lesquels les erreurs d'une IA se propagent sans être interceptées, et il met en cause l'illusion de sécurité que procure la supervision humaine formelle. Pour l'assurance et le droit de la responsabilité, il soulève une question redoutable, à savoir comment imputer la faute lorsqu'un préjudice résulte d'une décision validée par un humain qui, en pratique, ne contrôlait plus rien, situation appelée à se généraliser avec la diffusion des outils d'aide à la décision et des agents autonomes.
Un analyste valide systématiquement les évaluations de risque produites par un outil d'IA, jusqu'au jour où une erreur du modèle passe sans être détectée et conduit à accepter un risque qui aurait dû être refusé. La supervision existait sur le papier, mais le biais d'automatisation l'avait vidée de sa substance.
automation bias, biais d'autorité de la machine, complaisance envers l'automatisation