Attaque contre un modèle d'apprentissage automatique visant à déterminer si un enregistrement précis a été utilisé lors de l'entraînement, révélant ainsi des données personnelles sensibles.
L'attaque par inférence d'appartenance exploite la tendance des modèles à mémoriser partiellement leurs données d'entraînement, en particulier les exemples rares ou les outliers. En interrogeant le modèle sur un enregistrement cible et en observant finement ses sorties, notamment la confiance associée à chaque classe, un attaquant peut inférer avec une probabilité significativement supérieure au hasard si cet enregistrement faisait partie du jeu d'entraînement. Pour des modèles entraînés sur des données médicales, assurantielles ou financières, cette attaque constitue une violation potentielle du RGPD : elle permet de révéler l'appartenance d'un individu à un portefeuille de clients, à un groupe de porteurs d'une pathologie ou à une cohorte de sinistres. Les techniques de défense incluent la differential privacy, qui ajoute du bruit calibré pendant l'entraînement pour limiter la mémorisation, le gradient masking et le partage fédéré des modèles. Pour les régulateurs financiers et les autorités de protection des données, la robustesse d'un modèle aux attaques d'inférence est une composante émergente de la conformité IA, distincte de la précision prédictive.
Un chercheur interroge une API publique d'un assureur santé exposant un modèle de score de risque. En testant des profils fictifs proches de données publiques de procès judiciaires impliquant des patients atteints d'une maladie rare, il parvient à identifier avec 73 % de précision si ces individus figuraient dans le jeu d'entraînement. L'autorité de protection des données ouvre une enquête sur la base du RGPD article 25.
membership inference, membership inference attack, inférence d'appartenance, attaque sur données d'entraînement