Validation croisée

Pour savoir si un modèle prédira bien de nouveaux cas, il faut l'évaluer sur des données qu'il n'a pas vues pendant son entraînement. Mettre de côté un échantillon de test est la solution la plus simple, mais elle gaspille des données précieuses lorsque les sinistres sont peu nombreux, et le résultat dépend du hasard du découpage. La validation croisée divise les données en k blocs de taille égale, souvent cinq ou dix, entraîne le modèle k fois, chaque fois sur tous les blocs sauf un, et mesure sa performance sur le bloc laissé de côté. La moyenne des k mesures fournit une estimation plus stable de la performance réelle, et leur dispersion renseigne sur sa fiabilité. La méthode sert aussi à choisir les réglages d'un modèle, profondeur des arbres, intensité de la régularisation, sans toucher à l'échantillon de test final. En assurance, deux précautions sont essentielles. Les données ont une dimension temporelle : un modèle validé en mélangeant les années peut paraître meilleur qu'il ne sera sur l'avenir, et il faut souvent valider sur les années les plus récentes. Et les observations d'un même assuré ou d'un même événement doivent rester dans le même bloc, faute de quoi le modèle est testé sur ce qu'il a déjà vu.