Architecture transformer

L'architecture transformer a été présentée en 2017 par une équipe de recherche dans un article intitulé L'attention est tout ce dont vous avez besoin. Elle repose sur le mécanisme d'attention, qui permet à chaque élément d'une séquence, par exemple chaque mot d'un texte, de pondérer l'importance de tous les autres pour construire sa représentation. Contrairement aux architectures récurrentes qui la précédaient et lisaient le texte mot après mot, elle traite toute la séquence en parallèle, ce qui permet d'entraîner des modèles beaucoup plus grands sur des volumes de données considérables. Elle est à la base des grands modèles de langage, mais aussi de modèles d'images, de son et de séries temporelles. Pour l'assurance, son importance tient à deux propriétés. Sa capacité à relier des éléments éloignés dans un texte permet d'analyser des polices et des rapports longs, où une exclusion en page trente modifie une garantie en page trois. Et son coût croît rapidement avec la longueur du contexte, ce qui explique les limites de fenêtre de contexte et la dépendance du secteur à quelques fournisseurs capables de financer l'entraînement, source de concentration et de risque de fournisseur unique.