Les réseaux de neurones artificiels, des modèles d'apprentissage automatique omniprésents qui peuvent être entraînés pour accomplir de nombreuses tâches, sont ainsi appelés parce que leur architecture s'inspire de la façon dont les neurones biologiques traitent les informations dans le cerveau humain.

Il y a environ six ans, les scientifiques ont découvert un nouveau type de modèle de réseau neuronal plus puissant appelé transformateur. Ces modèles peuvent atteindre des performances sans précédent, par exemple en générant du texte à partir d'invites avec une précision quasi humaine. Un transformateur sous-tend les systèmes d'IA tels que ChatGPT et Bard, par exemple. Bien qu'incroyablement efficaces, les transformateurs sont également mystérieux : contrairement à d'autres modèles de réseaux de neurones inspirés du cerveau, il n'est pas clair comment les construire à l'aide de composants biologiques.

Maintenant, des chercheurs du MIT, du MIT-IBM Watson AI Lab et de la Harvard Medical School ont émis une hypothèse qui pourrait expliquer comment un transformateur pourrait être construit à l'aide d'éléments biologiques dans le cerveau. Ils suggèrent qu'un réseau biologique composé de neurones et d'autres cellules cérébrales appelées astrocytes pourrait effectuer le même calcul central qu'un transformateur.

Des recherches récentes ont montré que les astrocytes, des cellules non neuronales abondantes dans le cerveau, communiquent avec les neurones et jouent un rôle dans certains processus physiologiques, comme la régulation du flux sanguin. Mais les scientifiques n'ont toujours pas une compréhension claire de ce que ces cellules font par ordinateur.

Avec la nouvelle étude, publiée cette semaine dans Actes de l'Académie nationale des sciencesles chercheurs ont exploré le rôle que jouent les astrocytes dans le cerveau d'un point de vue informatique et ont élaboré un modèle mathématique qui montre comment ils pourraient être utilisés, avec les neurones, pour construire un transformateur biologiquement plausible.

Leur hypothèse fournit des informations qui pourraient déclencher de futures recherches en neurosciences sur le fonctionnement du cerveau humain. Dans le même temps, cela pourrait aider les chercheurs en apprentissage automatique à expliquer pourquoi les transformateurs réussissent si bien dans un ensemble diversifié de tâches complexes.

"Le cerveau est de loin supérieur même aux meilleurs réseaux de neurones artificiels que nous avons développés, mais nous ne savons pas vraiment exactement comment le cerveau fonctionne. Il y a une valeur scientifique à penser aux connexions entre le matériel biologique et les réseaux d'intelligence artificielle à grande échelle. Il s'agit de neurosciences pour l'IA et d'IA pour les neurosciences », déclare Dmitry Krotov, membre du personnel de recherche du MIT-IBM Watson AI Lab et auteur principal du document de recherche.

L'auteur principal Leo Kozachkov, postdoctorant au Département des sciences cérébrales et cognitives du MIT, se joint à Krotov pour l'article ; et Ksenia V. Kastanenka, professeure adjointe de neurobiologie à la Harvard Medical School et chercheuse adjointe au Massachusetts General Research Institute.

Une impossibilité biologique devient plausible

Les transformateurs fonctionnent différemment des autres modèles de réseaux neuronaux. Par exemple, un réseau neuronal récurrent entraîné pour le traitement du langage naturel comparerait chaque mot d'une phrase à un état interne déterminé par les mots précédents. Un transformateur, d'autre part, compare tous les mots de la phrase à la fois pour générer une prédiction, un processus appelé auto-attention.

Pour que l'attention sur soi fonctionne, le transformateur doit garder tous les mots prêts dans une certaine forme de mémoire, explique Krotov, mais cela ne semblait pas biologiquement possible en raison de la façon dont les neurones communiquent.

Cependant, il y a quelques années, des scientifiques étudiant un type légèrement différent de modèle d'apprentissage automatique (connu sous le nom de mémoire associée dense) ont réalisé que ce mécanisme d'auto-attention pouvait se produire dans le cerveau, mais seulement s'il y avait une communication entre au moins trois neurones.

"Le numéro trois m'est vraiment apparu parce qu'il est connu en neurosciences que ces cellules appelées astrocytes, qui ne sont pas des neurones, forment des connexions à trois voies avec les neurones, ce qu'on appelle des synapses tripartites", explique Kozachkov.

Lorsque deux neurones communiquent, un neurone présynaptique envoie des substances chimiques appelées neurotransmetteurs à travers la synapse qui le relie à un neurone postsynaptique. Parfois, un astrocyte est également connecté - il enroule un tentacule long et fin autour de la synapse, créant une synapse tripartite (en trois parties). Un astrocyte peut former des millions de synapses tripartites.

L'astrocyte recueille certains neurotransmetteurs qui traversent la jonction synaptique. À un moment donné, l'astrocyte peut renvoyer un signal aux neurones. Parce que les astrocytes fonctionnent sur une échelle de temps beaucoup plus longue que les neurones - ils créent des signaux en augmentant lentement leur réponse au calcium puis en la diminuant - ces cellules peuvent conserver et intégrer les informations qui leur sont communiquées par les neurones. De cette façon, les astrocytes peuvent former une sorte de mémoire tampon, explique Krotov.

"Si vous y réfléchissez de ce point de vue, alors les astrocytes sont extrêmement naturels pour précisément le calcul dont nous avons besoin pour effectuer l'opération d'attention à l'intérieur des transformateurs", ajoute-t-il.

Construire un réseau neurone-astrocytaire

Avec cette idée, les chercheurs ont formulé leur hypothèse selon laquelle les astrocytes pourraient jouer un rôle dans la façon dont les transformateurs calculent. Ensuite, ils ont entrepris de construire un modèle mathématique d'un réseau de neurones et d'astrocytes qui fonctionnerait comme un transformateur.

Ils ont pris les mathématiques de base qui comprennent un transformateur et ont développé des modèles biophysiques simples de ce que font les astrocytes et les neurones lorsqu'ils communiquent dans le cerveau, sur la base d'une plongée approfondie dans la littérature et des conseils de collaborateurs neuroscientifiques.

Ensuite, ils ont combiné les modèles de certaines manières jusqu'à ce qu'ils arrivent à une équation d'un réseau neurone-astrocyte qui décrit l'auto-attention d'un transformateur.

"Parfois, nous avons constaté que certaines choses que nous voulions être vraies ne pouvaient pas être mises en œuvre de manière plausible. Nous avons donc dû penser à des solutions de contournement. Il y a certaines choses dans le document qui sont des approximations très prudentes de l'architecture du transformateur pour pouvoir correspondre d'une manière biologiquement plausible », dit Kozachkov.

Grâce à leur analyse, les chercheurs ont montré que leur réseau biophysique de neurones et d'astrocytes correspond théoriquement à un transformateur. De plus, ils ont effectué des simulations numériques en alimentant des images et des paragraphes de texte avec des modèles de transformateurs et en comparant les réponses à celles de leur réseau neurone-astrocyte simulé. Les deux ont répondu aux invites de manière similaire, confirmant leur modèle théorique.

La prochaine étape pour les chercheurs est de passer de la théorie à la pratique. Ils espèrent comparer les prédictions du modèle à celles qui ont été observées dans des expériences biologiques et utiliser ces connaissances pour affiner – ou éventuellement réfuter – leur hypothèse.

De plus, une implication de leur étude est que les astrocytes pourraient être impliqués dans la mémoire à long terme, puisque le réseau a besoin de stocker des informations pour pouvoir agir dessus à l'avenir. Des recherches supplémentaires pourraient approfondir cette idée, dit Krotov.

"Pour de nombreuses raisons, les astrocytes sont extrêmement importants pour la cognition et le comportement, et ils fonctionnent de manière fondamentalement différente des neurones. Mon plus grand espoir pour cet article est qu'il catalyse un tas de recherches en neurosciences computationnelles vers les cellules gliales, et en particulier , astrocytes », ajoute Kozachkov.

Cette histoire est republiée avec l'aimable autorisation de MIT News (web.mit.edu/newsoffice/), un site populaire qui couvre l'actualité de la recherche, de l'innovation et de l'enseignement au MIT.