Un groupe international de chercheurs dirigé par Minghao Hu de l'Université de l'Arizona à Tucson et Zongliang Wu de l'Université Westlake à Hangzhou a mené des expériences en imagerie computationnelle multidimensionnelle pour comparer les systèmes d'imagerie compressive instantanée classiques avec leur système proposé, qui implique un échantillonnage multiple à plusieurs échelles et une décompression neurale. . Ils ont découvert que leur méthode permet d'obtenir une qualité d'image comparable et qu'elle est très prometteuse en raison des progrès attendus dans les capacités de traitement des réseaux de neurones artificiels.

Les recherches du groupe ont été publiées dans Informatique intelligente.

Les caméras et autres capteurs peuvent être utilisés pour capturer des données riches, mais plus elles sont précises, plus les données deviennent ingérables à capturer, stocker et traiter. La solution consiste à échantillonner, c'est-à-dire à prendre des instantanés stratégiquement espacés ou masqués de la cible et à les combiner pour obtenir quelque chose qui se rapproche de l'original en tirant parti des corrélations calculables dans les données.

Le défi consiste à faire des compromis intelligents afin que la configuration et le fonctionnement soient gérables et que le résultat soit de bonne qualité malgré la compression.

Parmi la collection de techniques appelées imagerie compressive instantanée, les imageurs spectraux instantanés à ouverture codée sont spécialisés pour capturer des informations de couleur, et les imageurs temporels compressifs à ouverture codée sont spécialisés pour la vidéo. Ces systèmes, appelés CASSI et CACTI, peuvent être éclipsés par des méthodes qui s'appuient sur des réseaux de neurones pour la reconstruction d'images.

Les réseaux de neurones permettent d'obtenir des systèmes plus compacts et plus faciles à mettre en œuvre car ils effectuent une optimisation de manière plus généralisée, permettant des types d'échantillonnage moins compliqués, tels que l'échantillonnage multi-échelle.

L'échantillonnage «entrelacé» de style CASSI revient à utiliser des filtres de couleur en photographie, tandis que l'échantillonnage multiple multi-échelle ressemble davantage à l'imagerie par paire stéréo et peut être mis en œuvre sur des matrices de caméras, qui sont flexibles et évolutives. De tels réseaux de caméras peuvent même être programmés pendant qu'ils capturent des images.

Le système d'échantillonnage multi-échelles des chercheurs utilise une sorte de réseau de neurones appelé "transformateur" pour le traitement visuel des données. En particulier, il s'agit d'un réseau de transformateurs sensible à la physique, le système s'appelle donc PAT.

Les chercheurs ont comparé PAT et CASSI pour l'imagerie avec neuf bandes de couleur à l'aide de données simulées. Leur analyse quantitative montre que les deux méthodes ont des forces et des faiblesses : les images PAT obtiennent un score plus élevé en similarité structurelle et les images CASSI obtiennent un score plus élevé pour le rapport signal/bruit maximal.

Ils ont également comparé PAT et CACTI pour la vidéo en utilisant des données simulées. Les deux systèmes ont obtenu des résultats similaires, mais le système PAT est plus facile et moins cher à mettre en place.

De plus, les chercheurs ont démontré PAT en reconstruisant avec succès deux scènes. L'un a été capturé en niveaux de gris haute résolution et en couleur basse résolution, et l'autre a été capturé à l'aide d'un réseau de quatre caméras qui a capturé trois couleurs plus une texture.

Fourni par l'informatique intelligente