Les robots alimentés par l'IA sont devenus de plus en plus sophistiqués et sont progressivement introduits dans un large éventail de paramètres du monde réel, y compris les centres commerciaux, les aéroports, les hôpitaux et d'autres espaces publics. À l'avenir, ces robots pourraient également aider les humains dans les tâches ménagères, les courses au bureau et d'autres tâches fastidieuses ou chronophages.

Cependant, avant que les robots puissent être déployés dans des environnements réels, les algorithmes d'IA contrôlant leurs mouvements et leur permettant de s'attaquer à des tâches spécifiques doivent être formés et testés dans des environnements simulés. Bien qu'il existe désormais de nombreuses plates-formes pour entraîner ces algorithmes, très peu d'entre elles prennent en compte les sons que les robots pourraient détecter et avec lesquels ils peuvent interagir lorsqu'ils accomplissent des tâches.

Une équipe de chercheurs de l'Université de Stanford a récemment créé Sonicverse, un environnement simulé pour former des agents d'IA incarnés (c'est-à-dire des robots) qui comprend à la fois des éléments visuels et auditifs. Cette plateforme, présentée dans un article présenté à ICRA 2023 (et actuellement disponible sur le arXiv serveur de préimpression), pourrait grandement simplifier la formation d'algorithmes destinés à être implémentés dans des robots qui s'appuient à la fois sur des caméras et des microphones pour naviguer dans leur environnement.

"Alors que nous, les humains, percevons le monde à la fois en regardant et en écoutant, très peu de travaux antérieurs ont abordé l'apprentissage incarné avec l'audio", a déclaré Ruohan Gao, l'un des chercheurs qui a mené l'étude, à Tech Xplore. "Les simulateurs d'IA incarnés existants supposent que les environnements sont silencieux et que les agents sont incapables de détecter le son, ou déploient des agents audiovisuels uniquement dans la simulation. Notre objectif était d'introduire une nouvelle plate-forme de simulation multisensorielle avec une simulation audiovisuelle intégrée réaliste pour la formation des agents domestiques. qui peut à la fois voir et entendre."

Sonicverse, la plateforme de simulation créée par Gao et ses collègues, modélise à la fois les éléments visuels d'un environnement donné et les sons qu'un agent détecterait en explorant cet environnement. Les chercheurs espéraient que cela aiderait à entraîner les robots plus efficacement et dans des espaces virtuels plus "réalistes", améliorant ainsi leurs performances ultérieures dans le monde réel.

"Contrairement aux travaux antérieurs, nous espérons démontrer que les agents formés à la simulation peuvent effectuer avec succès une navigation audiovisuelle dans des environnements réels difficiles", a expliqué Gao. "Sonicverse est une nouvelle plate-forme de simulation multisensorielle qui modélise le rendu audio continu dans des environnements 3D en temps réel. Elle peut servir de banc d'essai pour de nombreuses tâches d'IA incarnées et d'interaction homme-robot nécessitant une perception audiovisuelle, telles que la navigation audiovisuelle. "

Pour évaluer leur plate-forme, les chercheurs l'ont utilisée pour former une version simulée de TurtleBot, un robot créé par Willow Garage, pour se déplacer efficacement dans un environnement intérieur et atteindre un emplacement cible sans entrer en collision avec des obstacles. Ils ont ensuite appliqué l'IA entraînée dans leurs simulations à un véritable TurtleBot et testé ses capacités de navigation audiovisuelle dans un environnement de bureau.

"Nous avons démontré le réalisme de Sonicverse via le transfert sim-to-real, qui n'a pas été atteint par d'autres simulateurs audiovisuels", a déclaré Gao. "En d'autres termes, nous avons montré qu'un agent formé dans notre simulateur peut effectuer avec succès une navigation audiovisuelle dans des environnements réels, comme dans une cuisine de bureau."

Les résultats des tests menés par les chercheurs sont très prometteurs, suggérant que leur plate-forme de simulation pourrait entraîner des robots à s'attaquer plus efficacement aux tâches du monde réel, en utilisant à la fois des stimuli visuels et auditifs. Le Plateforme Sonicverse est maintenant disponible en ligne et pourrait bientôt être utilisé par d'autres équipes de robotique pour former et tester des agents d'IA incarnés.

"L'apprentissage incarné avec de multiples modalités a un grand potentiel pour débloquer de nombreuses nouvelles applications pour les futurs robots domestiques", a ajouté Gao. "Dans nos prochaines études, nous prévoyons d'intégrer des actifs d'objets multisensoriels, comme ceux de notre travail récent ObjectFolder dans le simulateur, afin que nous puissions modéliser les signaux multisensoriels à la fois au niveau de l'espace et au niveau de l'objet, et également incorporer d'autres modalités sensorielles telles que la détection tactile."

© 2023 Réseau Science X