De nombreuses applications et systèmes intelligents, y compris le matériel et les appareils biomédicaux, nécessitent une technologie d'interaction homme-ordinateur. Cette technologie permet au matériel intelligent d'obtenir des informations physiologiques et comportementales des humains pour traiter et accomplir des tâches spécifiques, offrant une commodité dans la vie quotidienne et favorisant l'efficacité sociétale. De plus, la technologie d'interaction homme-ordinateur est pertinente pour de nombreux domaines de recherche importants.

La reconnaissance des émotions est un défi important dans l'interaction homme-ordinateur, car la compréhension de l'état émotionnel des humains est difficile mais importante pour les machines intelligentes au cours du processus d'interaction. Reconnaître les émotions humaines en reconnaissant les micro-expressions faciales est devenu de plus en plus populaire ces dernières années. Les micro-expressions sont des expressions faciales brèves et involontaires consistant en de subtils mouvements des muscles faciaux qui se produisent lorsqu'une personne essaie de cacher ses émotions.

Ainsi, les micro-expressions peuvent généralement révéler les véritables états émotionnels des êtres humains et transmettre des informations plus substantielles par rapport aux expressions faciales ordinaires. Par conséquent, la reconnaissance automatique des micro-expressions aura des applications potentiellement utiles dans de nombreux domaines. Par exemple, les diagnostics cliniques, le travail de sécurité et l'interaction homme-machine.

Inspiré par les études discutées ci-dessus, un réseau neuronal adaptatif d'attention spatio-temporelle (ASTANN) pour CDMER est proposé dans cet article. Plus précisément, les bases de données sont d'abord prétraitées en extrayant des informations de flux optique. Ensuite, les informations de flux optique sont combinées avec les images faciales pour générer de nouvelles représentations. De plus, trois images de la nouvelle représentation ont été choisies pour servir de séquence d'expression dynamique, puis insérées dans le réseau pour une extraction supplémentaire des caractéristiques spatio-temporelles.

Enfin, une fonction de perte simple mais efficace est développée pour optimiser les paramètres du réseau afin de réduire l'écart de distribution entre les bases de données source et cible. Le principal avantage de ce modèle est qu'il utilise un réseau neuronal profond avec un mécanisme d'attention spatio-temporelle pour se concentrer sur les caractéristiques subtiles et instantanées des micro-expressions afin de résoudre les problèmes CDMER.

En employant une attention spatio-temporelle, l'architecture peut automatiquement capturer des informations utiles qui sont rares dans les domaines spatial et temporel dans des échantillons de micro-expression pour les tâches CDMER.

Le mécanisme d'attention est introduit en calculant les poids d'attention pour les échantillons dans les domaines spatial et temporel, ce qui met en évidence les informations qui sont plus utiles dans les échantillons pour le cadre de la colonne vertébrale.

• Une méthode d'adaptation de domaine simple mais efficace est utilisée pour intégrer l'alignement de corrélation (CORAL)
• Une méthode d'adaptation de domaine simple mais efficace est utilisée pour intégrer la perte d'alignement de corrélation (CORAL) dans la première couche entièrement connectée (FC) du réseau neuronal, ce qui améliore considérablement les performances des tâches inter-bases de données.
• Des expériences sont menées sur deux tâches de référence et les résultats montrent que l'approche des auteurs a des performances supérieures par rapport aux méthodes de l'état de l'art (SOTA).

À l'avenir, les chercheurs espèrent étudier si la combinaison d'informations multimodales, telles que le texte et l'audio, peut aider le processus de reconnaissance, qui est un problème important et peut contribuer au domaine de recherche du CDMER.

L'article est publié dans la revue Réalité virtuelle et matériel intelligent.

Fourni par Beijing Zhongke Journal Publishing Co. Ltd.