Effondrement de modèle
Dégradation progressive d'un modèle génératif entraîné, génération après génération, sur des contenus produits par d'autres modèles : la diversité et les cas rares disparaissent de ses sorties.
Les grands modèles de langage et d'image ont été entraînés sur des contenus produits par des humains. À mesure que les contenus générés par l'IA se multiplient sur internet, les modèles suivants risquent d'être entraînés en partie sur les productions des précédents. Des travaux publiés en 2024 dans la revue Nature ont montré le mécanisme qui en résulte : chaque génération sur-représente les cas les plus fréquents et oublie les queues de distribution, si bien qu'au fil des itérations le modèle produit des sorties de plus en plus uniformes, puis dégradées. Les cas rares sont les premiers à disparaître. Le phénomène n'est pas une fatalité : il se limite en conservant des données humaines d'origine, en traçant la provenance des données d'entraînement et en dosant la part de données synthétiques. Il intéresse l'assurance à deux titres. D'abord pour les assureurs qui utilisent des données synthétiques pour entraîner leurs modèles de tarification ou de détection de fraude : un modèle qui perd la queue de distribution perd précisément ce qui compte en assurance, les sinistres rares et graves. Ensuite pour l'appréciation du risque des entreprises qui déploient l'IA : la qualité d'un modèle n'est pas acquise, elle dépend de la chaîne de données qui l'alimente, et peut se dégrader sans signal visible.
Cas d'école : un assureur enrichit ses données de sinistres avec des sinistres synthétiques générés par un modèle, puis réentraîne ce modèle sur le jeu augmenté, trois années de suite. Au contrôle, la fréquence simulée des sinistres supérieurs à un million a été divisée par quatre, alors que la réalité n'a pas changé : c'est le phénomène décrit dans Nature en juillet 2024.
model collapse, dégénérescence par données synthétiques, curse of recursion
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.