Coefficient de Gini et AUC (pouvoir discriminant)

Un modèle de tarification ou de score peut se tromper de deux manières : sur le niveau, en prédisant globalement trop ou trop peu, et sur le classement, en mettant les bons et les mauvais risques dans le désordre. Le coefficient de Gini et l'aire sous la courbe ROC mesurent la seconde qualité, le pouvoir discriminant. Pour une classification binaire, fraude ou non, sinistre ou non, la courbe ROC trace la proportion de vrais positifs contre celle de faux positifs pour tous les seuils possibles, et son aire, notée AUC, vaut 0,5 pour un modèle qui classe au hasard et 1 pour un classement parfait. Le coefficient de Gini lui est lié par une relation simple, égal à deux fois l'aire moins un. En tarification, on emploie une version adaptée aux montants, fondée sur la courbe de concentration des sinistres selon le classement des primes prédites. Ces mesures servent à comparer deux modèles sur les mêmes données, par exemple un modèle linéaire et un gradient boosting. Elles ne disent rien de la calibration : un modèle peut classer parfaitement et prédire des montants faux, et il faut donc toujours les compléter par une mesure de calibration et par le jugement métier.