Recherche publiée dans le Revue internationale de l'humain numérique révèle un nouveau modèle de reconnaissance informatisée des gestes humains. L'outil VirSen1.0, développé par Kana Matsuo, Chengshuo Xia et Yuta Sugiura du Département d'information et d'informatique de l'Université Keio de Yokohama, au Japon, utilise une simulation de capteur de pointe et une conception centrée sur l'utilisateur pour surmonter divers obstacles et ouvrir de nouvelles façons pour les gens d'interagir avec la technologie.

La technologie de reconnaissance gestuelle est depuis longtemps confrontée à l’énigme de la configuration et du placement efficaces des capteurs requis, de l’interprétation des résultats et de la garantie de la précision du système d’apprentissage automatique qui reconnaîtra ces gestes. L'équipe a développé VirSen1.0, un environnement virtuel associé à une interface utilisateur sur mesure pour soutenir le développement de systèmes de reconnaissance gestuelle.

Lors de l'entraînement, le système génère des données de capteur et les synchronise avec les mouvements d'un avatar pour entraîner le classificateur du modèle. Ainsi, il peut attribuer et configurer des capteurs qui seront capables de fournir rapidement et précisément les données nécessaires à la reconnaissance des gestes et à l'attribution d'une signification à ces gestes.

L'équipe explique que la percée de VirSen1.0 réside dans sa capacité à surmonter les subtilités de l'influence des capteurs. Pour ce faire, il utilise une technique d'importance des caractéristiques de permutation (PFI), un outil qui met en lumière l'impact des capteurs individuels sur les performances du classificateur. Une étude utilisateur a démontré l'efficacité de l'approche PFI, mais a également souligné comment la version 1.0 pourrait être améliorée. En effet, même si les essais et erreurs dans le placement des capteurs resteront importants, la prochaine version du système s'appuiera sur ce type de succès et d'échecs et permettra aux utilisateurs de configurer un système de manière optimale sur la base des configurations expérimentales précédentes.

À mesure que l’écart entre les gestes humains et la compréhension mécanique se réduit, l’impact de ce type de développement pourrait trouver de larges applications dans le développement de la reconnaissance gestuelle, qui à son tour sera utilisée dans toute une série d’industries, dans les soins de santé et les loisirs.