En étudiant les peintures de John Singer Sargent représentant des femmes riches dans la société du XIXe siècle, Jessica Helfand, une ancienne artiste en résidence de Caltech, a eu une idée : rechercher dans les registres du recensement pour trouver l'identité des servantes de ces femmes. "Je me suis dit : 'Que se passe-t-il si je peins ces femmes dans le style de John Singer Sargent ?' C'est une sorte de restitution culturelle", a expliqué Helfand, "l'ingénierie inverse du récit en récupérant une sorte de beauté, de style et de majesté".

Pour recréer un style de l'histoire, elle s'est tournée vers la technologie qui, de plus en plus, est le moteur de l'avenir. "Est-ce que l'IA pourrait m'aider à comprendre comment peindre, disons, de la dentelle ou du lin, pour capturer les plis des vêtements à la lumière du jour ?" Helfand a discuté de son processus lors d'un séminaire et d'une discussion animée par Hillary Mushkin, professeure de recherche en art et design en ingénierie et sciences appliquées et en sciences humaines et sociales.

L'événement, qui fait partie du programme Visual Culture de Caltech, a également présenté Joanne Jang, chef de produit chez DALL-E, un système d'IA qui génère des images basées sur des invites fournies par l'utilisateur.

Alors que DALL-E a un certain nombre d'applications pratiques allant de l'urbanisme à la conception de vêtements en passant par la cuisine, la technologie soulève également de nouvelles questions. Helfand et Jang ont parlé des progrès récents de l'IA générative, des considérations éthiques lors de l'utilisation de tels outils et de la distinction entre l'intelligence artistique et l'intelligence artificielle.

Intelligence artistique versus intelligence artificielle

Jang et Helfand ont identifié trois composantes de l'art. Les machines, ont-ils dit, sont bonnes pour deux d'entre elles : la capacité de percevoir les données et la capacité d'établir des connexions. La troisième composante, que les machines ne peuvent pas enseigner, est l'expérience humaine subjective.

Les capacités et les limites des technologies génératives telles que DALL-E sont basées sur leur fonctionnement. DALL-E 1 était un modèle de pré-formation générative (ou GPT), qui est essentiellement une technologie de saisie semi-automatique. Son successeur, DALL-E 2, est un modèle de diffusion qui commence par un motif aléatoire de points qu'il organise lentement pour générer les caractéristiques proéminentes d'une image.

Pour Helfand, l'outil offre également un moyen d'explorer de nouveaux domaines de possibilités artistiques. Au 19e siècle, l'eugéniste Francis Galton a produit des portraits composites aplatis de «types criminels» en combinant des images policières de plusieurs personnes. Helfand a utilisé l'IA générative pour déconstruire les composites et recréer la véritable ressemblance de chaque individu.

"Que se passe-t-il lorsque vous [give dimension to] quelqu'un à travers une histoire que vous connaissez, c'est que vous pouvez commencer à construire une histoire différente, qui se rapproche d'une sorte de fidélité à cette personne." De cette façon, l'IA générative permet aux artistes de faire le contraire de ce que Galton a fait : en augmentant les détails plutôt qu'en les faisant la moyenne - dans un effort pour restaurer la dignité et l'humanité dans un portrait, a déclaré Helfand.

L'art et l'éthique de l'IA

Helfand et Jang ont également abordé les questions éthiques qui se posent à mesure que les technologies d'IA deviennent de plus en plus puissantes. Par exemple : comment DALL-E décide-t-il de ce à quoi ressemble le portrait d'un PDG ? Chaque variation sera-t-elle un mâle blanc ? Bien que cela puisse être statistiquement exact, est-ce éthique ?

Un autre problème est apparu lorsque les scientifiques ont décidé d'élaguer l'ensemble de données d'entraînement de DALL-E pour supprimer tout contenu sexuel : ils ont constaté une baisse de 25 % de la représentation des femmes. Cela signifiait que le modèle serait 25% moins informé lors de la création d'images de femmes en raison de moins de données de formation. Ainsi, les chercheurs sont confrontés à des questions sur la façon de repondérer les images des femmes.

De telles questions autour des systèmes d'IA génératifs tels que DALL-E et ChatGPT, et leurs implications pour l'humanité sont explorées dans la communauté Caltech. "Il y a beaucoup de gens dans notre communauté qui sont enthousiasmés par l'apprentissage automatique. Des conversations comme celle-ci sont des opportunités pour les gens de réfléchir aux problèmes que la technologie peut résoudre et quelle est la responsabilité des humains", a déclaré Mushkin. "Il y a un appétit à Caltech pour parler de ces questions à des personnes travaillant en dehors des sciences. Lorsque nous avons offert aux chercheurs la possibilité de rencontrer individuellement les conférenciers, les inscriptions étaient pleines en une heure. Ils veulent vraiment discuter d'idées avec des gens dans des domaines connexes qui peuvent apporter une nouvelle perspective à ce qu'ils font. »