Jason Peng, professeur adjoint en sciences informatiques à l'Université Simon Fraser, dirige une équipe de recherche qui élève la technologie de simulation de mouvement à un niveau supérieur et utilise le jeu de tennis pour montrer à quel point les mouvements d'athlètes virtuels peuvent être réels.

Aux côtés de ses collègues, Peng a créé un système d'apprentissage automatique capable d'apprendre diverses techniques de tennis simulées à partir de séquences vidéo diffusées.

L'équipe de Peng présentera son système et les document de recherche au 50ème conférence SIGGRAPHune conférence mondiale sur l'infographie et les techniques interactives, à Los Angeles, Californie, du 6 au 10 août.

Lorsqu'il est fourni avec un grand ensemble de données de clips vidéo de joueurs de tennis professionnels, le système apprend à effectuer des coups de tennis complexes et enchaîne de manière réaliste plusieurs coups dans des échanges prolongés à deux joueurs, générant des matchs de longue durée avec une dynamique de raquette et de balle réaliste entre deux joueurs physiquement simulés. personnages.

Alors que les jeux vidéo de sport populaires utilisent généralement des technologies de capture de mouvement pour produire des animations de haute qualité, leurs résultats sont limités aux comportements capturés lors de sessions d'enregistrement spécifiques, ce qui limite la diversité des mouvements qu'un personnage peut effectuer.

Selon de nouveaux développements impliquant Peng et des chercheurs de l'Université de Stanford, de l'Université de Toronto, du Vector Institute et de NVIDIA, il pourrait bientôt devenir possible pour les concepteurs de jeux vidéo d'apprendre à leurs personnages à bouger en imitant des séquences d'athlètes réels et à simuler automatiquement de nouvelles variations et des comportements réactifs à la volée.

Le système d'animation développé par l'équipe de Peng permet de générer des mouvements de personnages de manière procédurale en apprenant à partir de séquences de vrais athlètes jouant à des jeux sportifs. Le système exploite un modèle de contrôle hiérarchique qui combine une politique d'imitation de bas niveau et une politique de planification de mouvement de haut niveau pour guider les mouvements des personnages appris à partir de vidéos diffusées.

Compte tenu de la complexité des composants impliqués dans leur système, la formation des modèles de joueurs simulés à partir de séquences réelles de matchs de tennis s'est avérée être une tâche difficile. Les premières tentatives du groupe ont généré des mouvements de joueurs bruyants et instables, ce qui a rendu difficile la simulation de comportements réalistes.

Pour traiter les mouvements de faible qualité extraits des vidéos diffusées, l'équipe a mis en place un système de correction de mouvement avec une imitation basée sur la physique qui remplace les aspects erronés du mouvement appris.

À son tour, le système d'animation peut désormais produire des contrôleurs stables pour les joueurs de tennis simulés physiquement qui peuvent frapper avec précision la balle entrante pour cibler des positions en utilisant une grande variété de coups, y compris les services (coups droits et revers), les rotations (top spins et tranches), et différents styles de jeu (revers à une ou deux mains, jeu gaucher et droitier).

Alors que le système d'apprentissage du mouvement est actuellement limité au tennis, Peng prévoit que la technologie s'appliquera à d'autres sports tels que le basket-ball, le hockey et le football à l'avenir. "Nous prévoyons certainement de nous étendre au-delà du tennis et dans d'autres sports", a déclaré Peng.

"Le système lui-même est très général, peut être appliqué à d'autres jeux et activités sportifs", ajoute Peng. "L'un de nos objectifs à long terme est de trouver un moyen de mettre en œuvre le système en tant que méthode permettant aux robots d'acquérir des compétences en analysant des vidéos."