Les réponses et les explications de chaque question s’affichent ici une fois le parcours terminé. Elles renvoient alors vers la fiche du glossaire correspondante, où la notion est traitée en entier avec son exemple chiffré.
1. La majorité des entreprises d'un secteur confient leur analyse de risque au même modèle de fondation. Une faille de raisonnement de ce modèle produit des décisions erronées identiques et simultanées dans tout le secteur. Qu'est-ce que cette situation a détruit ?
La diversification cognitive, qui amortissait naturellement les erreurs
La monoculture algorithmique est l'équivalent logiciel du point unique de défaillance, et le concept a été mis en avant par les chercheurs du Center for Research on Foundation Models de Stanford. Dans une organisation humaine, la probabilité que des milliers d'individus commettent exactement la même erreur au même moment est négligeable, et cette dispersion des jugements agit comme un amortisseur que personne n'avait eu besoin de concevoir. Un modèle de fondation partagé supprime cet amortisseur : si le modèle porte un biais d'analyse, une faille de raisonnement ou une vulnérabilité, la défaillance n'est plus isolée, elle est répliquée simultanément chez tous ceux qui en dépendent. Pour un assureur, le déplacement est considérable et il ne se voit pas dans les données historiques : un risque que l'on croyait diversifié parce que ses porteurs sont indépendants cesse de l'être dès lors qu'ils raisonnent tous avec le même outil.
Fiche du glossaire →2. Un attaquant insère dans les données publiques servant à entraîner un modèle des exemples piégés qui lui apprennent à mal classer un type précis de document. Le modèle paraît normal et la faille n'est exploitée que des mois plus tard. De quelle attaque s'agit-il ?
Un empoisonnement des données d'entraînement
L'empoisonnement vise non pas le modèle déjà entraîné mais la matière première dont il apprend. En glissant des exemples corrompus dans le jeu d'apprentissage, un attaquant altère durablement le comportement du modèle, soit pour en dégrader la qualité générale, soit, bien plus insidieusement, pour y dissimuler une porte dérobée qui ne se déclenchera que face à un signal connu de lui seul. Deux caractéristiques en font une menace difficile. La première est la discrétion : le modèle fonctionne normalement dans la quasi-totalité des situations, si bien qu'aucun test de performance ordinaire ne révèle quoi que ce soit. La seconde est structurelle : les systèmes d'apprentissage dépendent d'immenses corpus souvent collectés sur Internet, dont la provenance et l'intégrité sont impossibles à garantir en pratique. La différence avec l'exemple adversarial tient au moment de l'attaque, l'empoisonnement agissant à l'entraînement quand l'exemple adversarial agit à l'inférence.
Fiche du glossaire →3. Un assureur auto évalue les dommages sur photos avec un modèle de vision. Un réparateur soumet des photos légèrement modifiées par un filtre numérique, ce qui gonfle l'estimation de 40 pour cent sans qu'aucune altération soit visible. Comment nomme-t-on ces entrées ?
Des exemples adversariaux
Un exemple adversarial est une entrée à laquelle de petites perturbations, souvent imperceptibles, ont été ajoutées délibérément pour induire une erreur de classification ou de prédiction. Le phénomène a été mis en évidence en 2014 par Goodfellow et ses coauteurs sur des réseaux de vision : une image de panda correctement classée peut être perturbée au niveau des pixels pour être classée gibbon avec une confiance élevée, sans que rien ne soit visible à l'œil nu. On distingue les attaques en boîte blanche, où l'attaquant connaît les paramètres du modèle, des attaques en boîte noire, où il ne dispose que des sorties. La robustesse adversariale est devenue un critère de sécurité central partout où un modèle est déployé en environnement hostile, reconnaissance faciale, détection de fraude, conduite autonome, traitement de documents d'assurance. Le cas décrit ici est particulièrement coûteux parce que l'erreur est systématique et orientée dans un seul sens : elle ne se compense pas en moyenne, elle s'accumule.
Fiche du glossaire →4. Un chercheur soumet cinquante mille profils synthétiques à l'API de devis santé d'un assureur et, en analysant les variations de score, reconstruit les profils médicaux types qui maximisent le risque estimé. Qu'a-t-il mené ?
Une attaque par inversion de modèle
L'attaque par inversion de modèle a été formalisée par Fredrikson et ses coauteurs en 2015, dans un article montrant qu'en interrogeant de façon répétée un modèle de reconnaissance faciale, on pouvait reconstruire des images de visages ayant servi à l'entraînement, après un premier travail de 2014 sur un modèle de dosage pharmaceutique. La distinction avec l'inférence d'appartenance est nette et vaut d'être tenue : l'inférence d'appartenance cherche à savoir si un individu précis figurait dans le jeu d'entraînement, l'inversion cherche à reconstruire des représentations génériques des données privées qui ont façonné le modèle. Les techniques modernes appliquées aux générateurs d'images, dites inversion de GAN, reconstruisent des visages ou des documents en haute résolution en optimisant une entrée pour qu'elle produise la sortie visée. Le point qui intéresse un assureur est que la fuite ne passe par aucune base de données : elle passe par une interface publique de devis, c'est-à-dire par un service dont la fonction même est de répondre à des interrogations répétées.
Fiche du glossaire →5. En interrogeant l'API d'un score de risque santé avec des profils construits à partir de données judiciaires publiques, un chercheur détermine avec 73 pour cent de précision si des individus atteints d'une maladie rare figuraient dans le jeu d'entraînement. Sur quoi repose cette attaque ?
Sur la mémorisation partielle des données d'entraînement, surtout des exemples rares
L'attaque par inférence d'appartenance exploite la tendance des modèles à mémoriser partiellement leurs données d'entraînement, et tout particulièrement les exemples rares ou atypiques, précisément ceux qui identifient le mieux une personne. En interrogeant le modèle sur un enregistrement cible et en observant finement ses sorties, notamment la confiance associée à chaque classe, un attaquant infère avec une probabilité nettement supérieure au hasard si cet enregistrement faisait partie de l'apprentissage. Le point juridique est direct : pour un modèle entraîné sur des données médicales, assurantielles ou financières, révéler l'appartenance d'un individu à un portefeuille de clients, à une cohorte de sinistres ou à un groupe de porteurs d'une pathologie constitue une violation potentielle du RGPD. Et la pseudonymisation n'y suffit pas, car ce qui fuit est le fait d'avoir été présent, et l'identifiant n'y est pour rien. La défense passe par la confidentialité différentielle, qui ajoute un bruit calibré, au prix d'une perte de précision qui se paie ailleurs.
Fiche du glossaire →6. Un modèle de détection de fraude entraîné sur les comportements d'il y a deux ans devient progressivement moins efficace à mesure que les fraudeurs changent de méthode. Qu'est-ce qui rend cette dégradation particulièrement dangereuse ?
Elle est silencieuse, le modèle continuant de produire des réponses d'apparence normale
La dérive du modèle est la dégradation progressive des performances d'un système lorsque la réalité qu'il rencontre en production s'éloigne des données sur lesquelles il a appris. Un modèle apprend les régularités d'un instantané du monde, et le monde bouge : les comportements évoluent, les distributions se déplacent, ce qui était vrai à l'entraînement cesse peu à peu de l'être. On distingue la dérive des données, où les caractéristiques des entrées changent, de la dérive du concept, où c'est la relation entre les entrées et la cible à prédire qui se modifie, et le cas de la fraude relève de la seconde, la plus difficile, puisque l'adversaire s'adapte délibérément. Le danger tient à la discrétion : le modèle ne tombe pas en panne, il ne signale rien, il continue de rendre des réponses plausibles tout en devenant moins fiable. Une défaillance franche serait moins coûteuse, parce qu'elle serait vue. C'est pourquoi la dérive impose une surveillance continue des performances réelles, et non un contrôle à la mise en service.
Fiche du glossaire →7. Un modèle est privé d'une caractéristique protégée mais reçoit des milliers d'autres variables. Il en reconstruit l'effet à partir de ses corrélats, sans aucune intention de discriminer. Pourquoi retirer la variable ne règle-t-il rien ?
Parce qu'interdire une variable n'interdit pas son effet, que le modèle retrouve par corrélation
La discrimination par variable de substitution est le mécanisme par lequel un modèle privé d'une caractéristique protégée en reconstruit l'effet à partir de ses corrélats. Elle n'exige aucune intention, et c'est ce qui la rend difficile à saisir juridiquement : la fonction même d'un modèle est de trouver toute corrélation prédictive, et la caractéristique protégée en est une. Le code postal, l'historique d'achat ou l'horaire de connexion peuvent porter l'information qu'on a cru retirer. La conséquence est lourde pour le droit de la non-discrimination lorsqu'il est bâti sur des listes de variables prohibées : interdire une entrée n'interdit pas son effet, et la conformité formelle peut coexister avec un résultat discriminatoire. Le seul remède connu consiste à réguler les sorties plutôt que les entrées, en testant l'impact disparate même sur un modèle neutre en apparence. Et ce remède se heurte à une difficulté qu'il faut nommer : mesurer un écart selon une caractéristique protégée suppose de disposer de cette caractéristique, que l'on a précisément interdit de collecter.
Fiche du glossaire →8. Un professionnel s'appuie sans vérification sur une citation juridique fabriquée par une IA générative et cause un préjudice à son client. Au croisement de quels régimes la question de l'imputation se pose-t-elle ?
Responsabilité du fait des produits, responsabilité professionnelle de celui qui déploie l'outil, et droit de la diffamation ou de la consommation selon les cas
Une hallucination est une information fausse, inventée ou trompeuse, produite avec les apparences de la fiabilité. Elle peut causer un préjudice parfaitement concret : un conseil erroné, la diffamation d'une personne, une information financière ou médicale fausse, une citation juridique fabriquée. La question devient alors celle de savoir qui répond du dommage, et trois candidats se présentent, l'éditeur du modèle, le professionnel qui l'a déployé sans vérification suffisante, et l'utilisateur final. Aucun régime unique ne tranche, parce que la situation se tient au croisement de trois : la responsabilité du fait des produits, qui vise l'éditeur ; la responsabilité professionnelle, qui vise celui qui s'appuie sur l'outil et dont l'obligation de diligence n'a pas disparu du fait qu'il a délégué ; et selon les cas le droit de la diffamation ou celui de la consommation. Les premières décisions rendues ont retenu la responsabilité de celui qui reprend l'information sans la vérifier, ce qui est cohérent avec la logique du devoir de conseil : déléguer l'exécution ne délègue pas la responsabilité.
Fiche du glossaire →9. Un analyste valide systématiquement les évaluations de risque produites par un outil d'IA. Le jour où le modèle se trompe, l'erreur passe et un risque qui aurait dû être refusé est accepté. Quel dispositif de contrôle ce biais avait-il vidé de sa substance ?
Le maintien d'un humain dans la boucle
Le biais d'automatisation est la propension des êtres humains à accorder une confiance excessive aux sorties d'un système automatisé, au point de relâcher leur vigilance et de cesser de les vérifier, y compris lorsqu'elles sont fausses. Il naît de deux choses qui se renforcent : la commodité, puisque l'automatisation soulage un effort cognitif réel, et la présomption de fiabilité, la machine étant perçue comme objective et compétente. Sa conséquence est proprement paradoxale. Le dispositif que l'on met en place pour garantir la sécurité, à savoir le maintien d'un humain dans la boucle, perd l'essentiel de sa valeur dès lors que cet humain se contente d'entériner. La supervision existe alors sur le papier, elle est documentée, elle est auditable, et elle n'intercepte plus rien. C'est l'un des principaux mécanismes par lesquels les erreurs d'un modèle se propagent sans rencontrer d'obstacle, et cela met en cause la façon dont beaucoup de textes conçoivent la supervision humaine, qu'ils exigent sans jamais mesurer si elle est réellement exercée.
Fiche du glossaire →