Surapprentissage
Défaut d'un modèle qui a appris le bruit de ses données d'entraînement au lieu des régularités, brillant sur le passé et médiocre sur les nouveaux risques, danger permanent des modèles flexibles sur des données de sinistres rares.
Un modèle surappris reproduit trop fidèlement les données sur lesquelles il a été entraîné, y compris leurs accidents et leurs coïncidences, au point de perdre sa capacité à prédire correctement de nouveaux cas. Il affiche d'excellents résultats sur l'échantillon d'entraînement et des résultats nettement moins bons sur un échantillon indépendant. Le phénomène est d'autant plus probable que le modèle est flexible, arbres profonds, réseaux de neurones, nombreuses variables, et que les données sont peu nombreuses ou bruitées, ce qui est précisément le cas des sinistres graves, rares par définition. En assurance, il a des conséquences directes : un tarif surappris attribue des primes très différentes à des assurés dont le risque est identique, simplement parce que le hasard a frappé certains et pas d'autres dans l'historique, et il se dégrade dès sa mise en production. Les parades sont connues : séparation stricte des données d'entraînement, de validation et de test, validation croisée, régularisation qui pénalise la complexité, limitation de la profondeur des arbres, et, en actuariat, recours à la crédibilité, qui mélange l'expérience propre d'un segment avec celle du portefeuille en proportion de sa fiabilité statistique.
Cas d'école : un modèle à 400 variables explique 92 pour cent de la variance des coûts sur les sinistres d'entraînement, mais seulement 35 pour cent sur l'année suivante. Réduit à 40 variables et régularisé, il n'explique plus que 60 pour cent sur l'entraînement, mais 55 pour cent sur l'année suivante : le second modèle, moins brillant, est le seul qui serve.
overfitting, surajustement, sur-apprentissage
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.