La dernière version de Inférence MLPerf introduit de nouveaux benchmarks LLM et de recommandation, marquant un pas en avant dans le domaine des tests d'IA.
L'itération v3.1 de la suite de référence a connu une participation record, avec plus de 13 500 résultats de performances et une amélioration des performances allant jusqu'à 40 %.
Ce qui distingue cette réalisation, c'est le bassin diversifié de 26 soumissionnaires différents et plus de 2 000 résultats puissants, démontrant le large éventail d'acteurs de l'industrie qui investissent dans l'innovation en matière d'IA.
Parmi la liste des soumissionnaires figurent des géants de la technologie comme Google, Intel et NVIDIA, ainsi que les nouveaux venus Connect Tech, Nutanix, Oracle et TTA, qui participent pour la première fois au benchmark MLPerf Inference.
David Kanter, directeur exécutif de MLCommonsa souligné l’importance de cette réalisation :
« Se soumettre à MLPerf n'est pas anodin. Il s'agit d'une réalisation importante, car il ne s'agit pas d'un simple pointer-cliquer. Cela nécessite un véritable travail d'ingénierie et témoigne de l'engagement de nos soumissionnaires envers l'IA, envers leurs clients et envers le ML.
MLPerf Inference est une suite de référence critique qui mesure la vitesse à laquelle les systèmes d'IA peuvent exécuter des modèles dans divers scénarios de déploiement. Ces scénarios vont des derniers chatbots génératifs d’IA aux fonctionnalités améliorant la sécurité des véhicules, telles que le maintien automatique de la voie et les interfaces parole-texte.
Les projecteurs de MLPerf Inference v3.1 sont braqués sur l'introduction de deux nouveaux benchmarks :
- Un LLM utilisant le GPT-J Le modèle de référence pour résumer les articles de presse de CNN a recueilli les soumissions de 15 participants différents, démontrant l'adoption rapide de l'IA générative.
- Un référentiel de recommandation mis à jour – affiné pour s'aligner plus étroitement sur les pratiques du secteur – utilise le DLRM-DCNv2 modèle de référence et des ensembles de données plus vastes, attirant neuf soumissions. Ces nouveaux benchmarks sont conçus pour repousser les limites de l'IA et garantir que les benchmarks standards du secteur restent alignés sur les dernières tendances en matière d'adoption de l'IA, constituant ainsi un guide précieux pour les clients, les fournisseurs et les chercheurs.
Mitchelle Rasquinha, coprésident du groupe de travail MLPerf Inference, a commenté : « Les soumissions pour MLPerf Inference v3.1 sont révélatrices d'un large éventail d'accélérateurs en cours de développement pour servir les charges de travail ML.
« La suite de référence actuelle couvre largement les domaines du ML, et l'ajout le plus récent de GPT-J est une contribution bienvenue à l'espace de l'IA générative. Les résultats devraient être très utiles aux utilisateurs lors de la sélection des meilleurs accélérateurs pour leurs domaines respectifs.
Les benchmarks MLPerf Inference se concentrent principalement sur les centres de données et les systèmes de périphérie. Les soumissions v3.1 présentent divers processeurs et accélérateurs dans des cas d'utilisation dans la vision par ordinateur, les systèmes de recommandation et le traitement du langage.
La suite de référence comprend des soumissions ouvertes et fermées dans les catégories performances, puissance et réseau. Les soumissions fermées utilisent le même modèle de référence pour garantir des règles du jeu équitables entre les systèmes, tandis que les participants à la division ouverte sont autorisés à soumettre une variété de modèles.
Alors que l'IA continue d'imprégner divers aspects de nos vies, les références de MLPerf constituent des outils essentiels pour évaluer et façonner l'avenir de la technologie de l'IA.
Retrouvez les résultats détaillés de MLPerf Inference v3.1 ici.
(Photo par Mauro Sbicego sur Unsplash)
Voir également: GitLab : les développeurs considèrent l'IA comme « essentielle » malgré les inquiétudes
Vous souhaitez en savoir plus sur l’IA et le Big Data auprès des leaders du secteur ? Vérifier Salon de l'IA et du Big Data se déroulant à Amsterdam, en Californie et à Londres. L'événement complet est co-localisé avec Semaine de la transformation numérique.
Découvrez d'autres événements et webinaires technologiques d'entreprise à venir proposés par TechForge ici.
Source