Alignement par retours humains
Procédé qui ajuste un modèle sur des préférences humaines comparées plutôt que sur des réponses correctes, et qui reporte la subjectivité sur le choix des annotateurs.
Ouyang et ses coauteurs, d'OpenAI, publient InstructGPT en mars 2022 : les évaluateurs préfèrent les réponses d'un modèle de 1,3 milliard de paramètres affiné sur retours humains à celles de GPT-3 et de ses 175 milliards. Un modèle entraîné à prédire la suite d'un texte reproduit ce qui se dit, sans égard pour ce qui est utile ou acceptable. L'alignement cherche à combler cet écart. Pour la plupart des demandes, il n'existe pas de réponse correcte à montrer au modèle. Le procédé le plus répandu lui présente donc des paires de réponses que des annotateurs humains ont classées. Ces classements entraînent un modèle de récompense, qui sert à son tour à ajuster le modèle principal. La chaîne est efficace, et elle déplace la subjectivité sans la supprimer. Quelques milliers d'annotateurs jugent, recrutés selon des critères et guidés par des consignes presque jamais publiés ; leurs jugements finissent incorporés dans un système qu'emploient des centaines de millions de personnes. L'essentiel de la critique porte sur cette opacité, plus que sur la technique. Elle touche directement la souscription : un comportement acquis par préférences ne se documente pas comme une règle et ne s'audite pas en lisant le code.
L'article Training language models to follow instructions with human feedback, publié en mars 2022, a décrit l'application de ce procédé. Il a montré que les évaluateurs humains préféraient un modèle nettement plus petit, ajusté de cette façon, à un modèle bien plus grand qui ne l'était pas.
RLHF, reinforcement learning from human feedback, alignement par préférences
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.