Fenêtre de contexte

Liu et ses coauteurs publient « Lost in the Middle » en 2023 : les modèles testés retrouvent bien l'information placée au début ou à la fin du contexte, nettement moins celle du milieu. La fenêtre de contexte est la quantité maximale de texte qu'un modèle traite en une seule fois, question comprise et posée avant tout raisonnement. Elle est passée en quelques années de quelques milliers d'unités à plusieurs centaines de milliers, et la manière de bâtir les applications a suivi. Avant, on découpait les documents pour n'en présenter que des extraits, ce qui exigeait une recherche préalable et en héritait les erreurs. Aujourd'hui, on présente le document entier. Trois conséquences pratiques en découlent, et elles intéressent directement la souscription d'un risque. Le coût d'un appel croît avec la quantité de contexte fourni : une fenêtre large invite à des usages coûteux que le budget n'avait pas prévus. La confidentialité change d'échelle, puisqu'on transmet un contrat entier au lieu d'un extrait. Et la fiabilité ne suit pas linéairement : les évaluations montrent que l'attention portée à une information placée au milieu d'un très long contexte décroît, si bien qu'une fenêtre large ne garantit pas que tout a été lu.