Prédiction conforme

La plupart des modèles d'apprentissage fournissent une prédiction ponctuelle, un montant ou une probabilité, sans dire à quel point elle est fiable pour le cas considéré. La prédiction conforme, développée à partir des travaux de Vladimir Vovk et de ses coauteurs au début des années 2000, construit autour de chaque prédiction un intervalle, ou pour une classification un ensemble de classes possibles, qui contient la vraie valeur avec une probabilité choisie à l'avance, par exemple 90 pour cent. Sa force est de fonctionner avec n'importe quel modèle et sans hypothèse sur la forme de la distribution des données, en s'appuyant sur les erreurs du modèle mesurées sur un échantillon de calibration séparé. La garantie suppose seulement que les nouveaux cas ressemblent statistiquement à ceux de la calibration. En assurance, la méthode répond à un besoin concret : distinguer les cas où le modèle est sûr de lui de ceux où il ne l'est pas. Un intervalle très large sur le coût d'un sinistre signale un dossier à confier à un expert ; un intervalle étroit autorise un traitement automatique. Elle ne protège pas contre un changement de la population, qui rompt l'hypothèse de ressemblance, et doit donc être recalibrée lorsque les données dérivent.