Un algorithme d'apprentissage automatique a démontré la capacité de traiter des données qui dépassent la mémoire disponible d'un ordinateur en identifiant les caractéristiques clés d'un ensemble de données massif et en les divisant en lots gérables qui n'étouffent pas le matériel informatique. Développé au laboratoire national de Los Alamos, l'algorithme a établi un record mondial pour la factorisation d'énormes ensembles de données lors d'un test sur le Summit du laboratoire national d'Oak Ridge, le cinquième supercalculateur le plus rapide au monde.

Tout aussi efficace sur les ordinateurs portables que sur les superordinateurs, l'algorithme hautement évolutif résout les goulots d'étranglement matériels qui empêchent le traitement des informations provenant d'applications riches en données dans la recherche sur le cancer, l'imagerie satellite, les réseaux de médias sociaux, la science de la sécurité nationale et la recherche sur les tremblements de terre, pour n'en citer que quelques-uns.

"Nous avons développé une implémentation" hors mémoire "de la méthode de factorisation matricielle non négative qui vous permet de factoriser des ensembles de données plus volumineux que ce qui était auparavant possible sur un matériel donné", a déclaré Ismael Boureima, physicien computationnel au Laboratoire national de Los Alamos. Boureima est le premier auteur du papier dans Le journal du supercalcul sur l’algorithme record.

"Notre mise en œuvre décompose simplement le Big Data en unités plus petites qui peuvent être traitées avec les ressources disponibles. Par conséquent, il s'agit d'un outil utile pour suivre des ensembles de données en croissance exponentielle."

"L'analyse de données traditionnelle exige que les données respectent les contraintes de mémoire. Notre approche remet en question cette notion", a déclaré Manish Bhattarai, scientifique en apprentissage automatique à Los Alamos et co-auteur de l'article.

"Nous avons introduit une solution de manque de mémoire. Lorsque le volume de données dépasse la mémoire disponible, notre algorithme le décompose en segments plus petits. Il traite ces segments un par un, les faisant entrer et sortir de la mémoire. Cette technique nous donne la capacité unique de gérer et d'analyser efficacement des ensembles de données extrêmement volumineux.

L'algorithme distribué pour les systèmes informatiques hautes performances modernes et hétérogènes peut être utile sur du matériel aussi petit qu'un ordinateur de bureau, ou aussi grand et complexe que Chicoma, Summit ou les prochains supercalculateurs Venado, a déclaré Boureima.

"La question n'est plus de savoir s'il est possible de factoriser une matrice plus grande, mais plutôt combien de temps la factorisation va prendre", a déclaré Boureima.

La mise en œuvre de Los Alamos tire parti de fonctionnalités matérielles telles que les GPU pour accélérer le calcul et une interconnexion rapide afin de déplacer efficacement les données entre les ordinateurs. Dans le même temps, l’algorithme exécute efficacement plusieurs tâches simultanément.

La factorisation matricielle non négative est un autre volet des algorithmes hautes performances développés dans le cadre du projet SmartTensors à Los Alamos.

Dans l'apprentissage automatique, la factorisation matricielle non négative peut être utilisée comme une forme d'apprentissage non supervisé pour extraire le sens des données, a déclaré Boureima. "C'est très important pour l'apprentissage automatique et l'analyse des données, car l'algorithme peut identifier des caractéristiques latentes explicables dans les données qui ont une signification particulière pour l'utilisateur."

La course record

Lors de l'opération record menée par l'équipe de Los Alamos, l'algorithme a traité une matrice dense de 340 téraoctets et une matrice clairsemée de 11 exaoctets, en utilisant 25 000 GPU.

"Nous atteignons la factorisation en exaoctets, ce que personne d'autre n'a fait à notre connaissance", a déclaré Boian Alexandrov, co-auteur du nouvel article et physicien théoricien à Los Alamos qui a dirigé l'équipe qui a développé la plateforme d'intelligence artificielle SmartTensors. .

La décomposition ou la factorisation des données est une technique spécialisée d'exploration de données visant à extraire des informations pertinentes, en simplifiant les données dans des formats compréhensibles.

Bhattarai a en outre souligné l'évolutivité de leur algorithme, en faisant remarquer : « En revanche, les méthodes conventionnelles sont souvent confrontées à des goulots d'étranglement, principalement dus au décalage dans le transfert de données entre les processeurs d'un ordinateur et sa mémoire. »

"Nous avons également montré qu'il n'est pas nécessaire d'avoir de gros ordinateurs", a déclaré Boureima. "Passer à 25 000 GPU est une bonne chose si vous pouvez vous le permettre, mais notre algorithme sera utile sur les ordinateurs de bureau pour quelque chose que vous ne pouviez pas traiter auparavant."