Approche champion-challenger
Pratique qui confronte en conditions réelles le modèle en place, le champion, à un ou plusieurs modèles candidats, sur une fraction des affaires, avant de décider lequel généraliser, pour juger sur des résultats observés plutôt que sur des tests rétrospectifs.
Un modèle qui brille en test rétrospectif peut décevoir en production : les données réelles diffèrent de l'historique, le comportement des clients et des courtiers réagit au nouveau prix, des effets de sélection apparaissent. L'approche champion-challenger répond à ce risque en faisant coexister le modèle en place et un ou plusieurs challengers, appliqués chacun à une fraction aléatoire des affaires ou des dossiers, pendant une période suffisante pour mesurer leurs effets réels : taux de transformation, sinistralité, rentabilité, taux de fraude détectée, satisfaction. Le challenger ne remplace le champion que s'il démontre un avantage significatif. La pratique vient du crédit et du marketing ; en assurance, elle s'applique au tri des sinistres, à la détection de fraude, aux stratégies de relance et, avec plus de précautions, à la tarification. Elle soulève des questions propres au secteur : la sinistralité se révèle lentement, ce qui allonge les tests ; appliquer deux tarifs différents à des clients comparables pose une question d'équité et parfois de conformité réglementaire ; et la fraction confiée au challenger doit être assez grande pour conclure, assez petite pour limiter le risque si le challenger se révèle mauvais.
Cas d'école : un assureur confie pendant six mois 10 pour cent de ses sinistres habitation à un nouveau modèle de tri, les 90 pour cent restants gardant l'ancien. Le challenger réduit de 30 pour cent le délai moyen de règlement, mais les dossiers qu'il oriente vers la gestion automatique présentent un coût moyen supérieur de 6 pour cent : l'équipe corrige son seuil avant de le généraliser.
champion challenger, test comparatif de modèles en production, A/B testing de modèles
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.