L’intelligence artificielle offre non seulement des performances impressionnantes, mais crée également une demande importante en énergie. Plus les tâches pour lesquelles il est formé sont exigeantes, plus il consomme d’énergie.

Víctor López-Pastor et Florian Marquardt, deux scientifiques de l'Institut Max Planck pour la science de la lumière à Erlangen, en Allemagne, présentent une méthode permettant de former l'intelligence artificielle de manière beaucoup plus efficace. Leur approche repose sur des processus physiques plutôt que sur les réseaux de neurones artificiels numériques actuellement utilisés. L'ouvrage est publié dans la revue Examen physique X.

La quantité d'énergie nécessaire pour entraîner GPT-3, qui fait de ChatGPT un Chatbot éloquent et apparemment bien informé, n'a pas été révélée par Open AI, la société à l'origine de cette intelligence artificielle (IA). Selon la société de statistiques allemande Statista, cela nécessiterait 1 000 mégawattheures, soit environ l’équivalent de la consommation annuelle de 200 foyers allemands de trois personnes ou plus. Bien que cette dépense d'énergie ait permis à GPT-3 de savoir si le mot « profond » est plus susceptible d'être suivi du mot « mer » ou « apprentissage » dans ses ensembles de données, de l'avis de tous, il n'a pas compris le sens sous-jacent d'un tel mot. phrases.

Réseaux de neurones sur ordinateurs neuromorphiques

Afin de réduire la consommation d'énergie des ordinateurs, et en particulier des applications d'IA, plusieurs instituts de recherche ont étudié ces dernières années un tout nouveau concept sur la manière dont les ordinateurs pourraient traiter les données à l'avenir. Le concept est connu sous le nom d’informatique neuromorphique. Bien que cela ressemble aux réseaux de neurones artificiels, cela n’a en réalité que peu à voir avec eux puisque les réseaux de neurones artificiels fonctionnent sur des ordinateurs numériques conventionnels.

Cela signifie que le logiciel, ou plus précisément l'algorithme, est calqué sur le fonctionnement du cerveau, mais que les ordinateurs numériques servent de matériel. Ils effectuent les étapes de calcul du réseau neuronal en séquence, les unes après les autres, en différenciant processeur et mémoire.

"Le transfert de données entre ces deux composants consomme à lui seul de grandes quantités d'énergie lorsqu'un réseau neuronal entraîne des centaines de milliards de paramètres, c'est-à-dire des synapses, avec jusqu'à un téraoctet de données", explique Marquardt, directeur de l'Institut Max Planck pour la Science. de Lumière et professeur à l'Université d'Erlangen.

Le cerveau humain est complètement différent et n’aurait probablement jamais été compétitif sur le plan de l’évolution s’il avait fonctionné avec une efficacité énergétique similaire à celle des ordinateurs équipés de transistors en silicium. Il serait très probablement tombé en panne à cause d'une surchauffe.

Le cerveau se caractérise par le fait qu’il entreprend les nombreuses étapes d’un processus de pensée en parallèle et non séquentiellement. Les cellules nerveuses, ou plus précisément les synapses, sont à la fois un processeur et une mémoire. Divers systèmes à travers le monde sont considérés comme des candidats possibles pour les homologues neuromorphiques de nos cellules nerveuses, notamment des circuits photoniques utilisant la lumière au lieu d'électrons pour effectuer des calculs. Leurs composants servent à la fois de commutateurs et de cellules mémoire.

Une machine physique auto-apprenante optimise ses synapses de manière indépendante

En collaboration avec López-Pastor, doctorant à l'Institut Max Planck pour la science de la lumière, Marquardt a mis au point une méthode de formation efficace pour les ordinateurs neuromorphiques. "Nous avons développé le concept d'une machine physique auto-apprenante", explique Florian Marquardt. "L'idée centrale est de réaliser la formation sous la forme d'un processus physique, dans lequel les paramètres de la machine sont optimisés par le processus lui-même."

Lors de la formation de réseaux neuronaux artificiels conventionnels, une rétroaction externe est nécessaire pour ajuster la force des milliards de connexions synaptiques. "Le fait de ne pas exiger ce feedback rend la formation beaucoup plus efficace", explique Marquardt. Implémenter et entraîner une intelligence artificielle sur une machine physique auto-apprenante permettrait non seulement d’économiser de l’énergie, mais aussi du temps de calcul.

"Notre méthode fonctionne quel que soit le processus physique qui se déroule dans la machine à auto-apprentissage, et nous n'avons même pas besoin de connaître le processus exact", explique Marquardt. "Cependant, le processus doit remplir quelques conditions. Plus important encore, il doit être réversible, c'est-à-dire qu'il doit pouvoir avancer ou reculer avec un minimum de perte d'énergie."

"De plus, le processus physique doit être non linéaire, c'est-à-dire suffisamment complexe", explique Marquardt. Seuls des processus non linéaires peuvent accomplir les transformations complexes entre les données d'entrée et les résultats. Un flipper qui roule sur une plaque sans entrer en collision avec une autre est une action linéaire. Cependant, si elle est perturbée par un autre, la situation devient non linéaire.

Test pratique dans un ordinateur neuromorphique optique

Des exemples de processus réversibles et non linéaires peuvent être trouvés en optique. En effet, López-Pastor et Marquardt collaborent déjà avec une équipe expérimentale développant un ordinateur optique neuromorphique. Cette machine traite les informations sous forme d'ondes lumineuses superposées, les composants appropriés régulant le type et la force de l'interaction. L’objectif des chercheurs est de mettre en pratique le concept de machine physique auto-apprenante.

"Nous espérons pouvoir présenter la première machine physique auto-apprenante d'ici trois ans", déclare Florian Marquardt. D’ici là, il devrait y avoir des réseaux neuronaux qui pensent avec beaucoup plus de synapses et sont entraînés avec des quantités de données bien plus importantes qu’aujourd’hui.

En conséquence, il y aura probablement un désir encore plus grand de mettre en œuvre des réseaux neuronaux en dehors des ordinateurs numériques conventionnels et de les remplacer par des ordinateurs neuromorphiques efficacement entraînés. "Nous sommes donc convaincus que les machines physiques auto-apprenantes ont de fortes chances d'être utilisées dans le développement futur de l'intelligence artificielle", déclare le physicien.

Fourni par Max-Planck-Institut für die Physik des Lichts