Comportements nouveaux et imprévus apparaissant dans un modèle au-delà d'un certain seuil d'échelle.
Les capacités émergentes désignent des comportements ou des aptitudes nouvelles qui apparaissent dans un grand modèle de langage lorsqu'il franchit un certain seuil d'échelle, en nombre de paramètres ou en volume d'entraînement, sans avoir été explicitement programmés et sans être prévisibles à partir des modèles plus petits. Le terme a été popularisé par les travaux de Wei et ses coauteurs, qui montrent que certaines compétences absentes des petits modèles surgissent de façon relativement soudaine au-delà d'une taille critique. Ce phénomène a une portée considérable pour la gestion des risques, car il signifie que le comportement d'un modèle n'est pas entièrement déductible de sa conception, et qu'une mise à l'échelle peut faire apparaître des aptitudes, mais aussi des défaillances, non anticipées. Le mémoire d'AlgoPolis mobilise précisément cette imprévisibilité pour expliquer pourquoi le risque algorithmique relève de l'incertitude knightienne plutôt que du risque probabilisable, l'environnement d'exécution évoluant plus vite que la capacité des actuaires à en récolter des données stables. Il faut noter que la notion fait débat dans la communauté scientifique, certains chercheurs soutenant que l'apparente soudaineté de l'émergence tient en partie aux métriques choisies pour la mesurer, ce qui n'enlève rien à l'imprévisibilité pratique du comportement des grands modèles.
Un modèle de taille modeste échoue à résoudre des problèmes de raisonnement en plusieurs étapes, mais une version nettement plus grande y parvient soudainement, sans qu'aucune modification d'architecture ne l'explique directement.
capacités émergentes, emergent abilities, émergence