Tout le monde parle de la toute nouvelle IA et de la puissance des réseaux de neurones, oubliant que le logiciel est limité par le matériel sur lequel il s'exécute. Mais c'est le matériel, dit Joshua Yang, professeur de génie électrique et informatique à l'USC, qui est devenu "le goulot d'étranglement". Maintenant, les nouvelles recherches de Yang avec des collaborateurs pourraient changer cela. Ils pensent avoir développé un nouveau type de puce avec la meilleure mémoire de toutes les puces à ce jour pour l'IA de pointe (IA dans les appareils portables).

Au cours des 30 dernières années environ, alors que la taille des réseaux de neurones nécessaires aux applications d'IA et de science des données doublait tous les 3,5 mois, la capacité matérielle nécessaire pour les traiter ne doublait que tous les 3,5 ans. Selon Yang, le matériel présente un problème de plus en plus grave pour lequel peu ont de la patience.

Les gouvernements, l'industrie et les universités tentent de relever ce défi matériel dans le monde entier. Certains continuent de travailler sur des solutions matérielles avec des puces en silicium, tandis que d'autres expérimentent de nouveaux types de matériaux et d'appareils. Le travail de Yang se situe au milieu - se concentrant sur l'exploitation et la combinaison des avantages des nouveaux matériaux et de la technologie traditionnelle du silicium qui pourraient prendre en charge le calcul intensif de l'IA et de la science des données.

Le nouvel article des chercheurs dans Nature se concentre sur la compréhension de la physique fondamentale qui conduit à une augmentation drastique de la capacité de mémoire nécessaire au matériel d'IA. L'équipe dirigée par Yang, avec des chercheurs de l'USC (y compris le groupe de Han Wang), du MIT et de l'Université du Massachusetts, a développé un protocole pour les dispositifs permettant de réduire le "bruit" et a démontré le caractère pratique de l'utilisation de ce protocole dans les puces intégrées. Cette démonstration a été faite chez TetraMem, une startup cofondée par Yang et ses co-auteurs (Miao Hu, Qiangfei Xia et Glenn Ge), pour commercialiser la technologie d'accélération de l'IA.

Selon Yang, cette nouvelle puce mémoire possède la densité d'informations par périphérique la plus élevée (11 bits) parmi tous les types de technologies de mémoire connues à ce jour. Des appareils aussi petits mais puissants pourraient jouer un rôle essentiel en apportant une puissance incroyable aux appareils dans nos poches. Les puces ne sont pas seulement pour la mémoire mais aussi pour le processeur. Des millions d'entre eux dans une petite puce, travaillant en parallèle pour exécuter rapidement vos tâches d'IA, ne pourraient nécessiter qu'une petite batterie pour l'alimenter.

Les puces créées par Yang et ses collègues combinent du silicium avec des memristors en oxyde métallique afin de créer des puces puissantes mais à faible consommation d'énergie. La technique se concentre sur l'utilisation des positions des atomes pour représenter l'information plutôt que le nombre d'électrons (qui est la technique actuelle impliquée dans les calculs sur les puces). Les positions des atomes offrent un moyen compact et stable de stocker plus d'informations de manière analogique plutôt que numérique. De plus, les informations peuvent être traitées là où elles sont stockées au lieu d'être envoyées à l'un des rares "processeurs" dédiés, éliminant ainsi le soi-disant "goulot d'étranglement de von Neumann" existant dans les systèmes informatiques actuels. De cette façon, dit Yang, l'informatique pour l'IA est "plus économe en énergie avec un débit plus élevé".

Comment ça fonctionne

Yang explique que les électrons qui sont manipulés dans les puces traditionnelles sont « légers ». Cette légèreté les rend enclins à se déplacer et à être plus volatils. Au lieu de stocker la mémoire par le biais d'électrons, Yang et ses collaborateurs stockent la mémoire dans des atomes complets. Voici pourquoi cette mémoire est importante. Normalement, dit Yang, lorsque l'on éteint un ordinateur, la mémoire d'informations est épuisée, mais si vous avez besoin de cette mémoire pour exécuter un nouveau calcul et que votre ordinateur a de nouveau besoin de ces informations, vous avez perdu à la fois du temps et de l'énergie.

Cette nouvelle méthode, axée sur l'activation des atomes plutôt que des électrons, ne nécessite pas d'alimentation par batterie pour conserver les informations stockées. Des scénarios similaires se produisent dans les calculs d'IA, où une mémoire stable capable d'une densité d'informations élevée est cruciale. Yang imagine cette nouvelle technologie qui pourrait permettre une puissante capacité d'IA dans les appareils de pointe, tels que les lunettes Google, qui, selon lui, souffraient auparavant d'un problème de recharge fréquent.

De plus, en convertissant les puces pour qu'elles reposent sur des atomes plutôt que sur des électrons, les puces deviennent plus petites. Yang ajoute qu'avec cette nouvelle méthode, il y a plus de capacité de calcul à plus petite échelle. De plus, cette méthode, dit-il, pourrait offrir "beaucoup plus de niveaux de mémoire pour aider à augmenter la densité de l'information".

Pour le mettre en contexte, en ce moment, ChatGPT fonctionne sur un cloud. La nouvelle innovation, suivie de développements supplémentaires, pourrait mettre la puissance d'une mini version de ChatGPT dans l'appareil personnel de chacun. Cela pourrait rendre ces technologies de pointe plus abordables et accessibles pour toutes sortes d'applications.