Les chercheurs de la NYU Tandon School of Engineering ont développé une nouvelle technique d'intelligence artificielle pour modifier l'âge apparent d'une personne sur les images tout en conservant ses caractéristiques d'identification uniques, une avancée significative par rapport aux modèles d'IA standard qui peuvent rajeunir ou vieillir les gens mais ne parviennent pas à conserver leurs données biométriques individuelles. identifiants.

Dans un article publié sur le serveur de pré-impression arXiv et qui sera présenté aux actes de la Conférence internationale conjointe de l'IEEE sur la biométrie (IJCB), Sudipta Banerjee, premier auteur de l'article et professeur adjoint de recherche au département d'informatique et d'ingénierie (CSE), et ses collègues ont formé un type d'IA générative modèle – un modèle de diffusion latente – pour « savoir » comment effectuer une transformation de l'âge qui préserve l'identité.

Pour ce faire, Banerjee, en collaboration avec le doctorat du CSE. candidat Govind Mittal et Ph.D. Ameya Joshi, diplômée, sous la direction de Chinmay Hegde, professeur agrégé du CSE et de Nasir Memon, professeur du CSE, a surmonté un défi typique de ce type de travail, à savoir rassembler un large ensemble de données de formation constituées d'images montrant des personnes individuelles sur plusieurs années.

Au lieu de cela, l'équipe a formé le modèle avec un petit ensemble d'images d'un individu, ainsi qu'un ensemble distinct d'images avec des légendes indiquant la catégorie d'âge de la personne représentée : enfant, adolescent, jeune adulte, d'âge moyen, âgé ou âgé. . Cet ensemble comprenait des images de célébrités capturées tout au long de leur vie.

Le modèle a appris les caractéristiques biométriques qui ont identifié les individus du premier ensemble. Les images légendées selon l’âge ont enseigné au modèle la relation entre les images et l’âge. Le modèle formé pourrait ensuite être utilisé pour simuler le vieillissement ou le vieillissement en spécifiant un âge cible à l'aide d'une invite textuelle.

Les chercheurs ont utilisé une méthode appelée « DreamBooth » pour éditer des images de visages humains en les modifiant progressivement à l'aide d'une combinaison de composants de réseau neuronal. La méthode consiste à ajouter et supprimer du bruit (variations ou perturbations aléatoires) aux images tout en tenant compte de la distribution des données sous-jacentes.

L'approche utilise des invites textuelles et des étiquettes de classe pour guider le processus de génération d'images, en se concentrant sur le maintien des détails spécifiques à l'identité et de la qualité globale de l'image. Diverses fonctions de perte sont utilisées pour affiner le modèle de réseau neuronal, et l'efficacité de la méthode est démontrée par des expériences sur la génération d'images de visages humains avec des changements liés à l'âge et des variations contextuelles.

Les chercheurs ont testé leur méthode par rapport à d’autres méthodes existantes de modification de l’âge, en demandant à 26 volontaires de faire correspondre l’image générée avec une image réelle de cette personne, et avec ArcFace, un algorithme de reconnaissance faciale. Ils ont constaté que leur méthode surpassait les autres méthodes, avec une diminution allant jusqu'à 44 % du taux de rejets incorrects.