Calibration d'un modèle
Qualité d'un modèle dont les prédictions correspondent en niveau aux fréquences et montants réellement observés, indispensable en assurance où la prime doit être juste en valeur et pas seulement bien ordonnée.
Un modèle est bien calibré lorsque ses prédictions correspondent aux réalisations en niveau : parmi les dossiers auxquels il attribue une probabilité de fraude de 10 pour cent, environ un sur dix doit effectivement être frauduleux ; parmi les assurés auxquels il prédit une charge moyenne de 300 euros, la charge observée doit être proche de 300 euros. La calibration est distincte du pouvoir discriminant : un modèle peut classer parfaitement les risques tout en surestimant systématiquement leur coût, et inversement. En assurance, elle est indispensable, parce que la prime est un montant qui doit couvrir les sinistres : un tarif bien classé mais mal calibré produit des pertes ou des pertes de parts de marché. Plusieurs méthodes d'apprentissage modernes, entraînées pour classer, produisent des scores mal calibrés, qu'il faut recalibrer par une transformation monotone ajustée sur un échantillon séparé. La calibration se vérifie par des graphiques qui comparent prédictions et réalisations par tranches, et par des tests statistiques. Elle se dégrade dans le temps, avec l'inflation des sinistres et la dérive des données, ce qui impose de la surveiller après la mise en production et pas seulement au moment de la validation.
Un modèle de fréquence entraîné sur les années 2020 à 2023 prédit en 2025 une fréquence moyenne de 6,2 pour cent, alors que la fréquence observée atteint 7,1 pour cent, en raison de la hausse des sinistres climatiques. Son classement reste bon, mais il sous-estime systématiquement le niveau : l'équipe le recalibre avant le renouvellement du tarif.
calibration, étalonnage d'un modèle, calibration plot
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.