Chaîne d'approvisionnement des modèles

Février 2024 : les chercheurs de JFrog recensent sur Hugging Face une centaine de modèles malveillants, presque tous au format PyTorch, dont le fichier pickle exécute du code dès le chargement. L'un d'eux ouvrait un accès à distance vers une adresse extérieure, et les contrôles de la plateforme ne l'avaient pas arrêté. Peu d'organisations entraînent un modèle depuis l'origine. Elles partent d'un modèle publié, l'ajustent sur leurs propres données, et y ajoutent des jeux de données et des bibliothèques pris dans des dépôts publics. Cette chaîne reproduit celle du logiciel libre, avec deux différences qui aggravent le risque. Un fichier de poids ne se lit pas : aucune revue de code n'y trouve quoi que ce soit. Et certains formats de sérialisation permettent d'exécuter du code arbitraire au chargement du modèle, si bien qu'un téléchargement devient une exécution. La provenance pose une difficulté de plus. Les licences des modèles publics sont hétérogènes, parfois incompatibles avec un usage commercial, et les données d'entraînement sont rarement documentées ; le déployeur hérite ainsi d'expositions qu'il ne peut pas inventorier. Les remèdes sont ceux du logiciel : inventaire des composants, signature des artefacts, et préférence pour les formats de sérialisation qui n'exécutent rien. Ce dernier est le plus efficace et le plus simple à imposer.