Les réponses et les explications de chaque question s’affichent ici une fois le parcours terminé. Elles renvoient alors vers la fiche du glossaire correspondante, où la notion est traitée en entier avec son exemple chiffré.
1. Un agent de conformité produit un rapport citant un article de réglementation qui n'existe pas, formulé avec la même assurance que les références exactes. Pourquoi ce défaut ne se corrige-t-il pas comme un bug ?
Il découle de la nature probabiliste du modèle, donc il se réduit sans s'éliminer
Un grand modèle de langage engendre des séquences statistiquement plausibles, il ne consulte pas une base de faits vérifiés. Produire une référence qui ressemble à une référence est donc exactement ce qu'il fait bien, et rien dans son fonctionnement ne distingue une citation exacte d'une citation inventée : les deux sont des suites de mots vraisemblables. L'hallucination découle de la façon dont la machine marche, elle n'a rien d'un accident, et cette distinction change tout ce qu'on peut en attendre. Un bug se localise et se corrige ; une propriété structurelle se réduit par la conception, par exemple en adossant les réponses à des documents cités, sans jamais tomber à zéro. Ce qu'il faut retenir pour la gestion du risque n'est pas que le modèle se trompe, tout outil se trompe, mais que l'erreur arrive sans signal : elle est indétectable dans l'instant et porte la même assurance apparente que le reste. C'est la confiance trompeuse qui fait le dommage, plus que l'erreur elle-même, et c'est pourquoi les dispositifs qui marchent sont ceux qui rendent la vérification possible plutôt que ceux qui promettent l'exactitude.
Fiche du glossaire →2. Un professionnel s'appuie sans vérification sur une citation juridique fabriquée par une IA générative, et son client subit un préjudice. Sur quel terrain la question de la responsabilité se pose-t-elle en premier ?
La responsabilité professionnelle de celui qui s'est appuyé sur l'outil sans le vérifier
Une hallucination cause un préjudice concret comme n'importe quelle information fausse : conseil erroné, diffamation, donnée financière ou médicale inexacte, citation juridique fabriquée. La question de savoir qui répond se situe au croisement de trois régimes, la responsabilité du fait des produits, la responsabilité professionnelle de celui qui s'appuie sur l'outil, et selon les cas le droit de la diffamation ou de la consommation. Dans le cas décrit, c'est le deuxième qui se présente d'abord, et pour une raison qui n'a rien de technique : le professionnel doit à son client une diligence qui ne se délègue pas à un outil, quel qu'il soit. Utiliser un modèle n'est pas fautif ; s'en remettre à lui sans vérifier une référence vérifiable l'est, exactement comme le serait la reprise sans contrôle d'une note d'un collaborateur. Les premières décisions rendues sur ces situations vont dans ce sens, et elles éclairent l'exposition réelle du marché : le risque se loge moins chez l'éditeur du modèle, souvent protégé par ses conditions et éloigné du dommage, que chez le professionnel assuré en responsabilité civile, qui est précisément l'assuré des portefeuilles existants.
Fiche du glossaire →3. Un analyste valide systématiquement les évaluations produites par un outil, jusqu'au jour où une erreur passe et fait accepter un risque qui aurait dû être refusé. La supervision humaine existait au dossier. Que s'est-il passé ?
Le biais d'automatisation avait vidé la supervision de sa substance
Le biais d'automatisation est la propension à accorder une confiance excessive aux sorties d'un système automatisé, jusqu'à relâcher la vigilance et cesser de les vérifier, y compris quand elles sont fausses. Il tient à deux ressorts qui se renforcent : la commodité, puisque l'automatisation soulage un effort cognitif réel, et la présomption de fiabilité, la machine étant perçue comme objective et compétente. Sa conséquence est proprement paradoxale, et c'est ce qui en fait un sujet de gouvernance plutôt que de psychologie : le dispositif de contrôle censé garantir la sécurité, à savoir le maintien d'un humain dans la boucle, perd l'essentiel de sa valeur dès lors que cet humain se contente d'entériner. On obtient alors le pire arrangement possible, le coût d'une supervision sans son bénéfice, et une conformité qui se documente parfaitement puisque les validations existent toutes. Le point pratique à en tirer est qu'une supervision se mesure à ce qu'elle refuse : un contrôle dont le taux de rejet est nul depuis des mois est un contrôle à examiner avant de le dire efficace.
Fiche du glossaire →4. Un attaquant insère dans des données publiques d'entraînement des exemples piégés qui apprennent au modèle à mal classer un type précis de document. La faille reste invisible des mois. Qu'est-ce qui la rend si difficile à détecter ?
Le modèle se comporte normalement partout ailleurs, la porte ne s'ouvrant qu'au signal connu de l'attaquant
L'empoisonnement ne vise pas le modèle déjà entraîné mais la matière première dont il apprend. En introduisant subrepticement des exemples corrompus dans le jeu d'apprentissage, un attaquant altère durablement le comportement du système, et il peut le faire de deux façons très différentes. La première dégrade la qualité générale, ce qui se remarque tôt ou tard sur les indicateurs. La seconde, bien plus insidieuse, dissimule une porte dérobée qui ne se déclenche que face à un signal précis connu de lui seul : le modèle fonctionne normalement dans toutes les situations ordinaires, donc les tests passent, les revues passent, la mise en production passe. La faille ne se manifeste que le jour où l'attaquant décide de s'en servir, des mois plus tard. Cette menace se nourrit d'une dépendance structurelle des systèmes d'IA à d'immenses corpus souvent collectés sur Internet, dont la provenance et l'intégrité ne peuvent pas être garanties intégralement. Elle déplace donc la surface d'attaque en amont, vers la chaîne d'approvisionnement des données, où les contrôles habituels de sécurité applicative ne regardent pas.
Fiche du glossaire →5. Fredrikson et ses coauteurs montrent en 2015 qu'en interrogeant un modèle de façon répétée on peut reconstruire des données d'entraînement. Un assureur expose un devis santé instantané par interface publique. Quel est le risque ?
Reconstruire des profils types issus du jeu d'entraînement, sans jamais accéder à la base
L'attaque par inversion exploite une propriété gênante des modèles : ils portent en eux une trace des données qui les ont façonnés, et cette trace peut être extraite en observant leurs sorties. La démonstration de 2015 portait sur un modèle de prédiction pharmaceutique interrogé de façon répétée, et sur la reconstruction d'images de visages ayant servi à l'entraînement d'un modèle de reconnaissance faciale. Transposée à un devis instantané, l'attaque consiste à soumettre un grand nombre de profils synthétiques et à analyser les variations de score, jusqu'à reconstituer les profils qui maximisent le risque estimé, lesquels correspondent aux personnes réelles du jeu d'entraînement. Deux points méritent d'être retenus. D'abord, aucune intrusion n'a lieu : l'attaquant n'accède à aucun système, il se contente d'utiliser une interface publique comme elle est prévue, ce qui rend l'attaque difficile à qualifier et à détecter. Ensuite, la pseudonymisation ne protège pas ici, puisqu'on ne cherche pas un identifiant mais une combinaison d'attributs, et c'est l'écart entre pseudonymisation et confidentialité différentielle qui est en cause. À distinguer de l'inférence d'appartenance, qui demande si une personne donnée était dans le jeu, quand l'inversion reconstruit des représentations.
Fiche du glossaire →6. En 2014, Goodfellow et ses coauteurs montrent qu'une image de panda correctement classée devient un gibbon avec une confiance élevée après une perturbation invisible à l'oeil. Un assureur auto évalue des dommages sur photos. Que faut-il en tirer ?
Une photo légèrement retouchée peut fausser l'estimation sans qu'un humain voie la retouche
Un exemple adversarial est une entrée à laquelle on a ajouté délibérément une perturbation, souvent imperceptible, pour induire une erreur de classification. La démonstration de 2014 sur des réseaux de vision est restée l'illustration de référence parce qu'elle rend visible ce qui est contre-intuitif : la perturbation ne trompe pas l'oeil humain, elle trompe le modèle, et les deux ne regardent pas la même chose. Appliqué à l'estimation de dommages sur photographies, cela ouvre une voie de fraude qui ne ressemble à aucune autre : la pièce produite paraît authentique à qui la regarde, aucune retouche n'est visible, et l'erreur d'estimation se répète sur tous les dossiers traités de la même façon, donc elle se découvre tard et en série. Deux précisions utiles. La robustesse adversariale est aujourd'hui un critère de sécurité à part entière pour tout modèle exposé à des environnements hostiles, au même titre que la performance. Et l'attaque ne suppose pas nécessairement de connaître les paramètres du modèle : on distingue les attaques en boîte blanche, où l'attaquant les connaît, des attaques en boîte noire qui procèdent par essais successifs sur l'interface, ce qui est exactement la situation d'un déclarant qui soumet des photos.
Fiche du glossaire →7. Un modèle de détection de fraude entraîné il y a deux ans devient progressivement moins efficace à mesure que les fraudeurs changent de méthode. Qu'est-ce qui rend cette dérive particulièrement dangereuse ?
Sa discrétion : le modèle continue de produire des réponses d'apparence normale
La dérive désigne la dégradation progressive des performances d'un système lorsque la réalité qu'il rencontre en production s'éloigne des données sur lesquelles il a été entraîné. Un modèle apprend les régularités d'un instantané du monde, mais le monde change : les comportements évoluent, les distributions se déplacent, et ce qui était vrai à l'entraînement cesse peu à peu de l'être. On distingue la dérive des données, quand les caractéristiques des entrées changent, de la dérive du concept, quand c'est la relation entre les entrées et ce qu'il faut prédire qui se modifie, et la détection de fraude subit surtout la seconde puisque l'adversaire s'adapte. Le danger tient à la discrétion du phénomène : le modèle continue de produire des réponses d'apparence normale, dans le bon format, avec le même niveau de confiance affiché, tout en devenant graduellement moins fiable, et rien ne se déclenche. C'est ce qui distingue la dérive d'une panne, qu'on remarque, et ce qui impose une surveillance continue plutôt qu'une validation à la mise en service. On rapprochera utilement cette mécanique de la non-stationnarité actuarielle : dans les deux cas, la difficulté vient de la référence sur laquelle on a calé, qui bouge, et non du calcul.
Fiche du glossaire →8. Un système refuse une indemnisation sur un raisonnement que ni l'assuré ni l'assureur ne peuvent reconstituer. D'où vient cette opacité ?
De la nature du modèle, dont la décision émerge de milliards de paramètres sans représentation interprétable
L'opacité dont il est question ici ne résulte pas d'un secret que quelqu'un aurait décidé de garder : c'est une propriété du modèle lui-même. On observe ses entrées et ses sorties, mais le cheminement interne ayant conduit à une décision donnée demeure largement inexplicable, y compris pour ses propres concepteurs, parce que cette décision émerge de l'interaction de milliards de paramètres dans des espaces de très grande dimension, sans représentation symbolique qu'on puisse lire. La distinction avec un secret commercial est pratique et non philosophique : un secret peut être levé par une injonction, une propriété structurelle ne le peut pas, et c'est pourquoi conserver les entrées et les sorties, indispensable par ailleurs, ne restitue pas le raisonnement. Pour l'assurance, cette opacité crée une asymétrie d'information d'un type nouveau : le principal humain, dirigeant ou assureur, garde la maîtrise de l'intention et perd le pouvoir d'auditer la chaîne qui a produit un résultat. C'est ce qui rend un refus d'indemnisation difficile à motiver, donc difficile à défendre, et c'est aussi ce que la présomption de défectuosité de la directive de 2024 retourne contre le fabricant : l'inexplicabilité cesse d'être une excuse pour devenir une charge.
Fiche du glossaire →9. La majorité des entreprises d'un secteur confient leur analyse de risque au même modèle de fondation. Qu'est-ce que cela détruit, que l'organisation humaine assurait sans qu'on y pense ?
La diversification cognitive : des milliers de personnes ne font pas la même erreur au même moment
Dans une organisation humaine, l'hétérogénéité des jugements agit comme un amortisseur qu'on ne remarque pas parce qu'il fonctionne : la probabilité que des milliers d'analystes commettent exactement la même erreur, sur le même dossier, le même jour, est négligeable, et les désaccords qui en résultent attrapent une partie des fautes avant qu'elles ne coûtent. Des agents fondés sur un modèle unique n'ont pas cette propriété. Si le modèle partagé porte un biais d'analyse, une faille de raisonnement ou une vulnérabilité, la défaillance n'est plus isolée mais répliquée simultanément chez tous ceux qui en dépendent, et elle produit des décisions erronées identiques au même instant dans tout un secteur. C'est l'équivalent logiciel du point de défaillance unique, et c'est un risque d'accumulation au sens strict, à cette nuance près qu'il ne se voit sur aucune carte : les entreprises concernées sont concurrentes, sans lien capitalistique, réparties sur plusieurs pays, et rien dans un portefeuille ne signale qu'elles partagent une dépendance. La question de souscription qui en découle est concrète et se pose comme pour un hébergeur commun : quel modèle, chez combien de mes assurés, et pour quelles décisions.
Fiche du glossaire →