La technologie de réalité augmentée (AR) fascine depuis longtemps à la fois la communauté scientifique et le grand public, restant un incontournable de la science-fiction moderne pendant des décennies.

À la recherche d'assistants AR avancés, capables de guider les gens lors d'interventions chirurgicales complexes ou de la préparation quotidienne des repas, par exemple, une équipe de recherche de la NYU Tandon School of Engineering a introduit le système de guidage et de modélisation utilisateur en réalité augmentée, ou ARGUS.

Outil d'analyse visuelle interactive, ARGUS est conçu pour prendre en charge le développement d'assistants AR intelligents pouvant fonctionner sur des appareils tels que Microsoft HoloLens 2 ou MagicLeap. Il permet aux développeurs de collecter et d'analyser des données, de modéliser la manière dont les utilisateurs effectuent des tâches, ainsi que de rechercher et de résoudre les problèmes des assistants AR qu'ils créent.

Claudio Silva, professeur d'informatique et d'ingénierie au NYU Tandon Institute et professeur de science des données au NYU Center for Data Science, dirige l'équipe de recherche qui présentera son papier sur ARGUS à IEEE VIS 2023 le 26 octobre 2023, à Melbourne en Australie. Le document a reçu une mention honorable lors des Best Paper Awards de cet événement.

"Imaginez que vous développez un assistant AR AI pour aider les cuisiniers à domicile à préparer les repas", a déclaré Silva. "Grâce à ARGUS, un développeur peut surveiller un cuisinier travaillant avec les ingrédients, afin d'évaluer les performances de l'IA dans la compréhension de l'environnement et des actions de l'utilisateur. Il est également possible de déterminer comment le système fournit des instructions et des commentaires pertinents à l'utilisateur. destiné à être utilisé par les développeurs de tels systèmes AR. "

ARGUS fonctionne selon deux modes : en ligne et hors ligne.

Le mode en ligne est destiné à la surveillance et au débogage en temps réel pendant qu'un système AR est utilisé. Il permet aux développeurs de voir ce que voit le système AR et comment il interprète l'environnement et les actions des utilisateurs. Ils peuvent également ajuster les paramètres et enregistrer des données pour une analyse ultérieure.

Le mode hors ligne sert à analyser les données historiques générées par le système AR. Il fournit des outils pour explorer et visualiser ces données, aidant ainsi les développeurs à comprendre comment le système s'est comporté dans le passé.

Le mode hors ligne d'ARGUS comprend trois composants clés : le gestionnaire de données, qui aide les utilisateurs à organiser et à filtrer les données des sessions AR ; la vue spatiale, fournissant une visualisation 3D des interactions spatiales dans l'environnement AR ; et la vue temporelle, qui se concentre sur la progression temporelle des actions et des objets pendant les sessions AR. Ces composants facilitent collectivement l’analyse et le débogage complets des données.

"ARGUS est unique dans sa capacité à fournir une surveillance complète en temps réel et une analyse rétrospective de données multimodales complexes lors du développement de systèmes", a déclaré Silva. "Son intégration d'outils de visualisation spatiale et temporelle le distingue en tant que solution pour améliorer les systèmes AR d'assistance intelligents, offrant des capacités que l'on ne trouve pas ensemble dans d'autres outils."

La recherche est publiée sur le arXiv serveur de préimpression.