ChatGPT a fasciné le public alors que nous commençons à explorer comment l'intelligence artificielle (IA) générative peut être utile dans notre vie quotidienne. D’un autre côté, les scientifiques font continuellement progresser l’IA pour des applications potentielles si vastes qu’elle pourrait changer la vie telle que nous la connaissons en accélérant les développements scientifiques et technologiques.

Dans une recherche récemment publiée dans le Journal de recherche sur l'apprentissage automatique, Fenglei Fan, Ph.D. '23, ancien doctorant de Rensselaer et actuel professeur assistant de recherche en mathématiques à l'Université chinoise de Hong Kong ; Rongjie Lai, ancien professeur agrégé de Rensselaer et aujourd'hui professeur de mathématiques à l'Université Purdue ; et Ge Wang, Ph.D., professeur à la chaire Clark & ​​Crossan et directeur du centre d'imagerie biomédicale de Rensselaer, ont découvert que l'analyse de la topologie des réseaux neuronaux artificiels a permis de mieux comprendre la puissance de l'IA à l'avenir.

Tout comme une carte topologique, les technologies qui alimentent l’IA ont trois dimensions. ChatGPT, qui fait le buzz dans le monde de l'IA, est un réseau neuronal profond comportant de nombreuses couches, également appelé algorithme d'apprentissage profond. Wang et ses collaborateurs ont découvert que la largeur du réseau, qui fait référence au nombre de neurones dans une couche, joue également un rôle important.

Fait intéressant, ils ont découvert qu’un type de réseau peut être converti en un autre pour accomplir une tâche donnée, telle que la régression ou la classification, qui sont des éléments essentiels de l’apprentissage automatique. (L'apprentissage automatique est un sous-ensemble de l'IA qui permet des prédictions générées par ordinateur sans instructions explicites.) En d'autres termes, un réseau neuronal profond peut être converti en un réseau neuronal étendu, et vice versa.

"Au début de la technologie, les scientifiques se sont concentrés sur des réseaux très larges et peu profonds (une à deux couches) pour réaliser une approximation universelle", a déclaré Wang. « Plus tard, les réseaux de neurones profonds (de nombreuses couches fonctionnent de manière anticipée) se sont révélés très puissants. Cependant, nous n'étions pas entièrement convaincus que l'accent devrait être mis uniquement sur l'apprentissage profond plutôt que sur l'apprentissage large et profond. n'est qu'une dimension et la largeur en est une autre, et les deux doivent être prises en compte et combinées.

Dans leurs recherches, l’équipe a examiné la relation entre les réseaux neuronaux profonds et étendus. À l’aide d’une analyse quantitative, ils ont découvert que des réseaux profonds et étendus peuvent être convertis d’un côté à l’autre selon un continuum. Utiliser les deux donnera une vue d’ensemble et évitera les préjugés.

Leurs recherches font allusion à l’avenir de l’apprentissage automatique, dans lequel les réseaux sont à la fois profonds et larges et interconnectés avec une dynamique favorable et des rapports optimisés entre largeur et profondeur. Les réseaux deviendront de plus en plus complexes et, lorsque la dynamique atteindra les états souhaités, ils produiront des résultats étonnants.

"C'est comme jouer avec des briques LEGO", a déclaré Wang. "Vous pouvez construire un très grand gratte-ciel ou un grand bâtiment plat avec de nombreuses pièces sur le même niveau. Avec les réseaux, le nombre de neurones et leur interconnexion sont les plus importants. Dans l'espace 3D, les neurones peuvent être disposés de multiples façons. " C'est comme la structure de notre cerveau. Les neurones ont juste besoin d'être interconnectés de diverses manières pour faciliter diverses tâches. "

"Comprendre la conversion entre la profondeur et la largeur des réseaux neuronaux reste un domaine dynamique et en évolution", a déclaré Lai. "Les réseaux larges et profonds offrent chacun leurs avantages et inconvénients. Les réseaux peu profonds sont généralement plus simples à comprendre. Notre exploration des symétries inhérentes à ces deux types de réseaux ouvre une nouvelle perspective pour comprendre les réseaux profonds à travers le prisme des réseaux larges. "

"Les recherches du Dr Wang sur la relation entre les réseaux neuronaux larges et profonds ouvrent de nouvelles voies pour exploiter le potentiel de l'IA", a déclaré Shekhar Garde, Ph.D., doyen de l'école d'ingénierie de Rensselaer. « L'IA a un impact sur presque tous les aspects de notre société, de la médecine aux nouveaux matériaux en passant par la finance. C'est une période passionnante pour ce domaine et le Dr Wang est à l'avant-garde de la réflexion sur le sujet.