Distillation de modèle
Entraînement d'un modèle plus petit à reproduire les sorties d'un modèle plus grand, qui abaisse le coût d'exploitation et déplace la question de la propriété.
Mars 2015 : Geoffrey Hinton, Oriol Vinyals et Jeff Dean, chez Google, publient « Distilling the Knowledge in a Neural Network ». Ils appellent « cibles souples » les probabilités qu'un grand modèle attribue aussi aux mauvaises réponses, et s'en servent pour tirer un modèle acoustique unique d'un système commercial très utilisé. La distillation entraîne un petit modèle, l'élève, sur les sorties complètes d'un modèle plus grand, l'enseignant, et pas seulement sur les bonnes réponses : l'élève voit aussi la probabilité que l'enseignant donne aux réponses qu'il écarte. C'est ce surplus d'information qui rend le procédé efficace. L'élève apprend le raisonnement implicite de l'enseignant, en plus de son verdict. L'intérêt économique est considérable. L'entraînement se paie une fois, l'exploitation se paie à chaque appel ; un élève dix fois plus petit et presque aussi bon change donc l'équilibre d'un service entier. Le procédé pose en retour une question de propriété que le droit n'a pas tranchée. Un modèle distillé à partir des sorties d'un service payant reproduit une capacité sans copier un seul paramètre : il n'y a ni contrefaçon de logiciel ni extraction de base de données au sens classique. Les fournisseurs ont donc réglé la question par le contrat, et leurs conditions d'usage interdisent d'employer les sorties pour entraîner un modèle concurrent.
La méthode a été formalisée dans l'article Distilling the Knowledge in a Neural Network, publié en 2015 par Geoffrey Hinton, Oriol Vinyals et Jeff Dean, qui montrait qu'un modèle réduit entraîné sur les sorties complètes d'un ensemble de modèles en conservait l'essentiel de la performance.
knowledge distillation, distillation des connaissances, modèle élève, student model
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.