Contamination des jeux d'évaluation

Mai 2024 : Scale AI publie GSM1k, un jeu de problèmes d'arithmétique inédits calqués sur le jeu public GSM8k. Plusieurs familles de modèles, Phi et Mistral en tête, y perdent nettement en exactitude. L'écart croît avec la probabilité que le modèle reproduise mot pour mot les exemples de GSM8k. Un modèle entraîné sur une large part du web a très probablement déjà vu les jeux de questions publics qui servent ensuite à le noter, puisqu'ils sont publiés en ligne avec leurs corrigés. Son score mélange alors deux choses de nature opposée, une capacité de généralisation et une mémorisation, et rien dans le chiffre ne permet de les séparer. En pratique, quelques points d'écart entre deux modèles sur une épreuve publique ne disent à peu près rien. La même épreuve refaite avec des questions inédites donne souvent un autre classement. Les remèdes existent, tous imparfaits : des marqueurs insérés dans les jeux pour repérer leur présence dans un corpus, des épreuves renouvelées en continu, ou une évaluation privée dont les questions ne sont jamais publiées. Cette dernière protège la mesure au prix de la reproductibilité. Un assureur qui doit juger la fiabilité d'un système n'acceptera donc jamais un score public comme preuve de performance dans un domaine donné. Il demandera une évaluation sur les données réelles de l'assuré.