Gradient boosting

Le gradient boosting est une méthode d'apprentissage supervisé qui construit un modèle prédictif par additions successives. On part d'une prédiction simple, puis on ajoute un petit arbre de décision entraîné à corriger les erreurs résiduelles du modèle courant, puis un autre, et ainsi de suite, chaque étape réduisant une fonction de perte dans la direction de son gradient. Formalisée par Jerome Friedman en 2001, la méthode a été popularisée par des implémentations rapides, dont XGBoost en 2016, qui ont dominé les compétitions de science des données sur les données tabulaires, précisément le format des données d'assurance. En tarification, elle capte des interactions et des effets non linéaires que les modèles linéaires généralisés ne voient qu'à condition de les spécifier, et elle améliore souvent le pouvoir de discrimination. Mais le modèle obtenu est une somme de centaines d'arbres, que personne ne peut lire directement, ce qui pose des problèmes de justification auprès des régulateurs, des assurés et des directions. Les praticiens la combinent donc souvent avec le modèle linéaire : ils l'utilisent pour découvrir les interactions pertinentes, qu'ils intègrent ensuite dans un tarif explicable, ou ils l'accompagnent d'outils d'interprétation comme les valeurs de Shapley.