Étiquetage des données
Travail qui attribue à chaque exemple la bonne réponse, fraude ou non, pièce endommagée, clause présente, sur laquelle un modèle supervisé apprendra, et dont la qualité fixe le plafond de performance du modèle.
Un modèle supervisé apprend à partir d'exemples dont la réponse est connue : l'étiquette. Dans certains cas, l'étiquette découle naturellement des données, comme le coût final d'un sinistre clos. Dans beaucoup d'autres, elle doit être produite : décider si un dossier était frauduleux, délimiter sur une photo les éléments endommagés, indiquer si une police contient telle exclusion, qualifier la cause d'un sinistre. Ce travail d'annotation, souvent confié à des experts métier, est coûteux, lent, et sa qualité détermine le plafond de performance du modèle : un modèle ne peut pas être plus juste que les étiquettes sur lesquelles il apprend. Trois difficultés sont propres à l'assurance. Les étiquettes sont souvent incomplètes : on ne connaît que les fraudes détectées, pas les autres, si bien que le modèle apprend à reproduire les critères des enquêteurs plutôt qu'à reconnaître la fraude. Elles sont parfois incohérentes, deux experts pouvant qualifier différemment un même dossier. Et elles vieillissent, les pratiques changeant. D'où l'importance de protocoles d'annotation écrits, de la mesure de l'accord entre annotateurs et de la révision régulière des jeux étiquetés.
Cas d'école : pour entraîner un modèle de chiffrage automobile, un assureur fait annoter 20 000 photos par ses experts. Un contrôle montre que deux experts s'accordent sur la décision de réparer ou remplacer une pièce dans 78 pour cent des cas seulement ; l'assureur rédige un protocole commun, réannote les cas litigieux, et l'accord passe à 91 pour cent avant l'entraînement.
data labeling, annotation des données, vérité terrain
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.