Comment le cerveau humain gère-t-il des circonstances complexes, par exemple, traverser le trafic de Harvard Square à 17 heures ?

Une théorie de plus en plus soutenue par les psychologues et les neuroscientifiques est que le cerveau crée des modèles causaux du monde qui aident à la planification et à l'exécution. Cela revient à exécuter des simulations mentales pour voir quels résultats sont bons ou mauvais. "Vous apprenez ce modèle interne de l'environnement, que vous pouvez utiliser pour prédire ce qui se passera si vous adoptez différents plans d'action", a expliqué Momchil Tomov, associé en psychologie du laboratoire de neurosciences cognitives computationnelles du professeur Samuel Gershman.

Au cours des dernières décennies, les informaticiens ont développé ces idées dans un système appelé Reinforcement Learning (ou RL en abrégé). Des chercheurs tels que Tomov, qui travaillent à l'intersection de la psychologie et de la technologie, ont même introduit des modèles informatiques qui tentent de capturer comment RL se déroule dans le cerveau. Dans un nouvel article publié dans NeuroneTomov et ses co-auteurs ont utilisé la résonance magnétique fonctionnelle (IRMf) pour comparer leur théorie algorithmique à l'imagerie du monde réel.

Pourquoi concevoir des algorithmes qui tentent de formaliser la pensée et la prise de décision humaines ? "Il est difficile d'étudier les processus cognitifs sans disposer d'un modèle de calcul précis qui mappe les entrées aux sorties", a déclaré Tomov, qui a obtenu son doctorat. en neurobiologie à Harvard en 2019 et a travaillé avec Gershman en tant que postdoc jusqu'en 2021.

Les chercheurs espèrent également que leurs travaux mèneront à des avancées dans le RL, qui peut naviguer dans des environnements complexes et est considéré comme l'une des plus grandes réussites de l'intelligence artificielle. Il a, en fait, battu les humains dans des domaines tels que les jeux de société et les jeux vidéo, mais jusqu'à récemment, il s'est avéré un apprenant quelque peu lent. "Les algorithmes plus humains peuvent être plus performants dans certains domaines que l'apprentissage automatique traditionnel", a déclaré Tomov.

L'expérience du groupe s'appuie sur les travaux antérieurs de deux des co-auteurs de l'étude. Thomas Pouncy, un autre doctorant du laboratoire de Gershman, a décrit en 2021 un système RL plus complexe et basé sur la théorie. Un modèle RL basé sur la théorie informatique a été introduit dans un article ultérieur par le chercheur postdoctoral du MIT Pedro Tsividis. Il s'est avéré beaucoup plus rapide que les itérations précédentes dans l'apprentissage de nouveaux jeux vidéo. En termes de vitesse, a déclaré Tomov, c'est beaucoup plus proche de la capacité humaine à reprendre une telle tâche.

L'ensemble du processus a conduit les chercheurs à émettre des hypothèses sur l'architecture neuronale de la prise de décision et de l'apprentissage humains. Dans la nouvelle étude, les chercheurs ont testé leur algorithme sur 32 volontaires qui ont joué et finalement maîtrisé des jeux vidéo de style Atari tout en étant connectés à des scanners IRMf, qui mesurent les petits changements dans le flux sanguin qui accompagnent l'activité cérébrale.

Comme les chercheurs s'y attendaient, cela a fourni des preuves de modèles basés sur la théorie de l'activité dans le cortex préfrontal à l'avant du cerveau avec des mises à jour théoriques se produisant dans le cortex postérieur ou à l'arrière du cerveau. Là où leurs hypothèses – et leur algorithme – divergeaient, c'était dans les détails.

Les chercheurs s'attendaient spécifiquement à trouver des preuves de modèles basés sur la théorie dans le cortex orbitofrontal. Au lieu de cela, ils les ont trouvés dans le gyrus frontal inférieur. Cela a du sens avec le recul, a déclaré Tomov, car des recherches antérieures du laboratoire de Gershman ont révélé que le gyrus frontal inférieur était impliqué dans l'apprentissage des "règles causales qui régissent le monde".

D'autres surprises ont été trouvées à l'arrière du cerveau, où le cortex occipital et la voie ventrale, tous deux essentiels au traitement visuel, semblent être impliqués lorsque ces modèles nécessitent une mise à jour. "Chaque fois que vous obtenez des informations surprenantes qui sont incompatibles avec votre théorie actuelle, c'est à ce moment-là que nous voyons non seulement un signal de mise à jour dans la voie ventrale, mais aussi, c'est à ce moment-là que la théorie s'active dans le gyrus frontal inférieur", a résumé Tomov.

Enfin, les scans IRMf ont révélé le flux directionnel d'informations dans le cerveau. Tomov et ses co-auteurs avaient émis l'hypothèse que l'information circule de bas en haut. Au lieu de cela, il semble couler de haut en bas pendant le jeu.

"C'est presque comme si cela venait du modèle, stocké quelque part dans le cortex préfrontal, descendant vers les régions visuelles postérieures", a-t-il déclaré. "Mais ensuite, lorsqu'il y a une divergence - lorsqu'une mise à jour se produit - le modèle de flux d'informations s'inverse. Désormais, les informations circulent de bas en haut, des régions postérieures aux régions frontales."

Tomov étudie le RL basé sur la théorie avec Gershman depuis quatre ans. Il y a deux ans, il a commencé à appliquer ces idées aux voitures autonomes en tant qu'employé à temps plein dans une entreprise de Boston. "Comment allez-vous d'ici à la prochaine intersection et tournez à gauche sans heurter personne?" Il a demandé. "En gros, il y a ce modèle interne du monde avec d'autres pilotes et des prédictions sur ce qu'ils vont faire."

Cette histoire est publiée avec l'aimable autorisation de Gazette de Harvard, journal officiel de l'Université de Harvard. Pour plus d'informations sur l'université, visitez Harvard.edu.