Évaluations de modèles de langage (evals)

Une évaluation de modèle de langage est un ensemble de cas représentatifs d'une tâche réelle, accompagnés de la réponse attendue ou de critères permettant de juger une réponse, sur lequel on fait tourner le système pour mesurer sa performance. Les bancs d'essai publics mesurent des capacités générales ; ils disent peu de la qualité d'un assistant sur une tâche d'assurance précise, d'autant que leurs questions ont parfois été vues pendant l'entraînement. Une organisation qui déploie un modèle doit donc construire ses propres évaluations : extraire les limites et franchises de cent polices réelles, classer des sinistres, répondre à des questions sur la politique de souscription, avec des cas difficiles et des pièges. La notation peut être exacte, par comparaison à une valeur attendue, humaine, par des experts, ou confiée à un autre modèle chargé de juger selon une grille, méthode rapide mais qui doit elle-même être vérifiée. Les évaluations servent à choisir un modèle, à mesurer l'effet d'un changement de consigne ou de version, et à détecter les régressions. Pour l'assureur, elles constituent la documentation de performance qu'attendent les superviseurs, et la condition pour qu'un déploiement repose sur une mesure plutôt que sur une impression.