Processeur d'IA optique pour réduire la consommation électrique du centre de données...

Des chercheurs du MIT aux États-Unis et de la Technische Universitat de Berlin ont construit un processeur de réseau neuronal optique avec des lasers intégrés qui réduit considérablement la consommation d'énergie des grands modèles d'IA en langage tels que GPT4.0.

L'architecture 3D est basée sur des réseaux de pointe de lasers à émission de surface verticale (VCSEL) développés par le groupe Reitzenstein de la Technische Universitat de Berlin. Cela donne une amélioration de 100 fois de l'efficacité énergétique et une amélioration de 20 fois de la densité de calcul,

"Il s'agissait d'un projet collaboratif qui n'aurait pas été possible sans eux", explique le chercheur Ryan Hamerly du Research Laboratory of Electronics (RLE) du MIT, qui a breveté la conception avec des collègues.

Le système peut atteindre une efficacité énergétique de 7 femtojoules par opération (OP) avec une densité de calcul de 6 TOP/mm2/s1, ce qui représente respectivement 100 et 20 fois des améliorations par rapport aux processeurs numériques de pointe. Le développement à court terme pourrait améliorer ces mesures de deux ordres de grandeur supplémentaires, ouvrant ainsi les tâches d'apprentissage automatique des centres de données aux appareils décentralisés.

« Nous espérons qu’il pourra être mis à l’échelle pour un usage commercial dans quelques années. Par exemple, les réseaux laser impliqués sont largement utilisés dans l'identification faciale des téléphones portables et la communication de données », explique Zaijun Chen, premier auteur, qui a mené les travaux alors qu'il était postdoctorant au MIT à RLE et est maintenant professeur adjoint à l'Université de Southern. Californie.

« ChatGPT est limité dans sa taille par la puissance des superordinateurs actuels. Il n’est tout simplement pas économiquement viable de former des modèles beaucoup plus gros. Notre nouvelle technologie pourrait permettre de passer à des modèles d'apprentissage automatique qui autrement ne seraient pas accessibles dans un avenir proche », a déclaré Dirk Englund, professeur agrégé au département de génie électrique et d'informatique du MIT et responsable des travaux.

"Nous ne savons pas quelles seront les capacités du ChatGPT de nouvelle génération s'il est 100 fois plus puissant, mais c'est le régime de découverte que ce type de technologie peut permettre." Englund est également responsable du laboratoire de photonique quantique du MIT et est affilié au RLE et au laboratoire de recherche sur les matériaux.

Les coauteurs supplémentaires de l'article actuel sur Nature Photonics sont Alexander Sludds, Ronald Davis, Ian Christen, Liane Bernstein et Lamia Ateshian, tous de RLE ; et Tobias Heuser, Niels Heermeier, James A. Lott et Stephan Reitzensttein de la Technische Universitat Berlin.

Chen, Hamerly et Englund ont déposé un brevet pour leur travail, qui a été parrainé par le Bureau de recherche de l'armée américaine et NTT Research au Japon ainsi que par la Fondation Volkswagen en Allemagne.