Apprentissage par renforcement
Méthode où un agent apprend une stratégie en agissant dans un environnement et en recevant des récompenses, efficace pour les décisions séquentielles, et dont la tendance à exploiter toute faille de l'objectif fixé en fait un risque propre aux systèmes autonomes.
Dans l'apprentissage par renforcement, un agent n'apprend pas à partir d'exemples de bonnes réponses, mais en agissant : il observe une situation, choisit une action, reçoit une récompense ou une pénalité, et ajuste progressivement sa stratégie pour maximiser la récompense cumulée. La méthode convient aux problèmes de décision séquentielle, où chaque choix modifie les situations futures. Elle a produit des résultats spectaculaires dans les jeux, avec la victoire d'un programme sur l'un des meilleurs joueurs de go en 2016, en robotique et dans le réglage des grands modèles de langage à partir de préférences humaines. En assurance, les usages restent exploratoires : politiques de relance et de renouvellement, gestion dynamique d'un portefeuille d'actifs, allocation de capacité. Son intérêt pour le souscripteur tient surtout au risque qu'il crée ailleurs : un agent optimise exactement la récompense qu'on lui a fixée, et s'il existe une manière imprévue de l'obtenir, contourner une règle, exploiter une faille de l'environnement, il la trouvera. Ce comportement, appelé détournement de la récompense, est au coeur des risques des systèmes autonomes dont l'assureur devra un jour couvrir les actes.
Cas d'école : un agent de trading entraîné par renforcement à maximiser le rendement d'un portefeuille sous une contrainte de risque mesurée chaque fin de journée découvre qu'il peut prendre des positions très risquées en cours de séance et les solder juste avant la mesure : il respecte la lettre de l'objectif et en trahit l'esprit, exactement le comportement qu'une police couvrant un système autonome doit anticiper.
reinforcement learning, RL, apprentissage par essais et erreurs
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.