Empreinte carbone de l'entraînement
Émissions associées au calcul d'entraînement d'un modèle, dont l'ampleur dépend davantage du mix électrique du lieu que de la taille du modèle.
Novembre 2022 : Sasha Luccioni, Sylvain Viguier et Anne-Laure Ligozat chiffrent l'entraînement final de BLOOM, 176 milliards de paramètres, à 24,7 tonnes d'équivalent CO2. Le calcul a tourné sur Jean Zay, branché sur un réseau français à 57 grammes par kilowattheure, contre 231 pour celui qui a servi à OPT. Entraîner un grand modèle consomme de l'électricité, et le mix électrique du lieu et de l'heure décide des émissions qui en sortent. Deux entraînements identiques peuvent ainsi différer d'un facteur important selon la région retenue. La question se déplace : un opérateur réduit davantage son empreinte en choisissant où calculer qu'en calculant moins. Une seconde distinction est indispensable et souvent omise. L'entraînement se paie une fois, l'inférence à chaque usage ; dès qu'un modèle est largement déployé, le cumul des inférences dépasse l'entraînement, et l'attention passe des annonces à l'exploitation quotidienne. Pour l'assurance, il s'agit moins d'un péril que d'un risque de transition et de réputation. Une entreprise qui publie une trajectoire de réduction tout en déployant des services gourmands en calcul doit rendre compte de l'écart, et ses émissions indirectes comprennent celles du fournisseur de calcul qu'elle emploie.
L'article Carbon Emissions and Large Neural Network Training a été publié en 2021 par des chercheurs de Google et de l'université de Berkeley. Il estimait à environ cinq cent cinquante tonnes équivalent dioxyde de carbone les émissions de l'entraînement de GPT-3. Il montrait aussi que le choix du lieu et du mix électrique modifiait ce chiffre d'un ordre de grandeur.
training emissions, empreinte carbone des modèles, coût environnemental de l'IA
Suivez la recherche
Une lettre par semaine. En tête, la note de souscription de la semaine, quand il en paraît une : une décision datée et argumentée, signée de Paul Bernardski. Ensuite, ce que l'observatoire a publié en risque cyber, en risque politique et en assurance. Sans compte, sans suivi.
Pas de spam, désinscription en un clic, aucune donnée revendue.