Déséquilibre des classes
Situation où l'événement à prédire est très rare, fraude, sinistre grave, défaut, ce qui pousse un modèle naïf à le négliger et impose des méthodes et des mesures de performance adaptées.
Dans beaucoup de problèmes d'assurance, l'événement intéressant est rare : moins d'un pour cent des sinistres sont frauduleux, une infime fraction des polices produit un sinistre grave, peu d'entreprises font défaut. Un modèle entraîné naïvement sur de telles données apprend qu'il suffit de prédire systématiquement l'événement fréquent pour avoir raison dans plus de 99 pour cent des cas, et il devient inutile. Le déséquilibre des classes appelle plusieurs réponses. Du côté des données, on peut surreprésenter les cas rares, sous-représenter les cas fréquents ou générer des exemples synthétiques. Du côté du modèle, on peut pondérer davantage les erreurs sur la classe rare. Du côté de la décision, on choisit un seuil de signalement adapté à la capacité d'enquête et au coût relatif des deux types d'erreur, plutôt que le seuil de 50 pour cent. Surtout, il faut abandonner le taux de bonnes réponses comme mesure de performance, trompeur par construction, au profit de mesures centrées sur la classe rare : précision et rappel, aire sous la courbe de précision-rappel, taux de détection dans les dossiers les mieux notés. Toute correction du déséquilibre dans les données fausse la calibration des probabilités, qu'il faut ensuite rétablir.
Cas d'école : sur 100 000 sinistres dont 500 frauduleux, un modèle qui déclare tout honnête affiche 99,5 pour cent de bonnes réponses et ne détecte aucune fraude. Un modèle rééquilibré, dont on signale les 2 000 dossiers les mieux notés, en retrouve 300 : sa précision est de 15 pour cent et son rappel de 60 pour cent, seules mesures qui disent quelque chose d'utile.
class imbalance, événements rares, données déséquilibrées
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.