Agentivité excessive

Une application fondée sur un modèle de langage peut être reliée à des outils qui lui permettent d'agir : envoyer des messages, modifier des fichiers, passer des commandes, exécuter des paiements. La liste de référence des risques des applications de modèles de langage, publiée par la communauté OWASP, range l'agentivité excessive parmi les principales vulnérabilités. Elle distingue trois excès. L'excès de fonctions : l'agent dispose d'outils dont il n'a pas besoin, par exemple un outil qui peut supprimer des fichiers alors qu'il devait seulement les lire. L'excès de droits : l'outil s'exécute avec des permissions trop larges, un compte d'administration plutôt qu'un compte limité à l'utilisateur. L'excès d'autonomie : l'agent peut réaliser une action à fort impact sans confirmation humaine. Le modèle se trompant parfois, et pouvant être manipulé par des contenus qu'il lit, chacun de ces excès transforme un défaut de raisonnement en dommage réel. Les parades appliquent un principe ancien de la sécurité, le moindre privilège : limiter les outils au strict nécessaire, exécuter chaque action avec les droits de l'utilisateur concerné, exiger une validation humaine pour les opérations irréversibles, et journaliser les actions. Pour l'assurance, l'agentivité excessive est le critère qui distingue un assistant qui peut se tromper d'un agent qui peut causer un sinistre.