Le guitariste légendaire des Stones, Keith Richards, a dit un jour : "La musique est un langage qui ne parle pas de mots particuliers. Elle parle d'émotions, et si c'est dans les os, c'est dans les os."

Keith connaît la musique, mais les chercheurs de Google et de l'Université d'Osaka au Japon connaissent l'activité cérébrale et ils ont signalé des progrès dans la reconstruction de la musique, non pas à partir d'os mais à partir d'ondes cérébrales humaines observées en laboratoire. L'article de l'équipe, "Brain2Music : Reconstructing Music from Human Brain Activity", a été publié sur le serveur de prépublication arXiv le 20 juillet.

Des échantillons de musique couvrant 10 genres, dont le rock, le classique, le métal, le hip-hop, la pop et le jazz, ont été joués pour cinq sujets pendant que les chercheurs observaient leur activité cérébrale. Les lectures d'IRM fonctionnelle (IRMf) ont été enregistrées pendant qu'ils écoutaient. (Les lectures IRMf, contrairement aux lectures IRM, enregistrent l'activité métabolique au fil du temps.)

Les lectures ont ensuite été utilisées pour former un réseau neuronal profond qui a identifié les activités liées à diverses caractéristiques de la musique telles que le genre, l'humeur et l'instrumentation.

Une étape intermédiaire a amené MusicLM dans l'étude. Ce modèle, conçu par Google, génère de la musique à partir de descriptions textuelles. Comme les IRMf, il mesure des facteurs tels que l'instrumentation, le rythme et les émotions. Un exemple de saisie de texte est : "Chant méditatif, calmant et apaisant, avec des flûtes et des guitares. La musique est lente, avec un accent sur la création d'un sentiment de paix et de tranquillité."

Les chercheurs ont lié la base de données MusicLM aux lectures IRMf, permettant à leur modèle d'IA de reconstruire la musique entendue par les sujets. Au lieu d'instructions textuelles, l'activité cérébrale a fourni un contexte pour la production musicale.

"Notre évaluation indique que la musique reconstruite ressemble sémantiquement au stimulus musical original", a déclaré Timo Denk de Google, l'un des nombreux auteurs du récent article.

Ils ont nommé à juste titre leur modèle d'IA Brain2Music.

"La musique générée ressemble aux stimuli musicaux que les sujets humains ont expérimentés, en ce qui concerne les propriétés sémantiques telles que le genre, l'instrumentation et l'humeur", a-t-il déclaré. Ils ont en outre identifié des régions cérébrales reflétant des informations provenant de descriptions textuelles de musique.

Les exemples fournis par l'équipe montrent des extraits de musique remarquablement similaires interprétés par Brain2Music sur la base des ondes cérébrales des sujets.

L'une des chansons échantillonnées était l'un des premiers succès du Top 10 de l'année 2000, "Oops!… I Did It Again", de Britney Spears. Un certain nombre d'éléments musicaux de la chanson tels que le son des instruments et le rythme correspondaient étroitement, bien que les paroles soient inintelligibles. Brain2Go se concentre sur l'instrumentation et le style, pas sur les paroles, ont expliqué les chercheurs.

"Cette étude est la première à fournir une interprétation quantitative d'un point de vue biologique", a déclaré Denk. Mais il a reconnu que malgré les progrès des modèles texte-musique, "leurs processus internes sont encore mal compris".

L'IA n'est pas encore prête à puiser dans nos cerveaux et à écrire des airs parfaitement orchestrés, mais ce jour n'est peut-être pas trop loin.

Les travaux futurs sur les modèles de génération de musique apporteront des améliorations à "l'alignement temporel entre la reconstruction et le stimulus", a déclaré Denk. Il a émis l'hypothèse que des reproductions toujours plus fidèles de compositions musicales "de pure imagination" nous attendaient.

Peut-être que les futurs auteurs-compositeurs n'auront qu'à imaginer le refrain d'une chanson pendant qu'une imprimante connectée sans fil au cortex auditif imprime la partition. Beethoven, qui a commencé à devenir sourd dans la vingtaine, a ruiné les pianos en martelant les touches pour mieux entendre la musique. Il aurait un coup de pied et épargnerait plus que quelques pianos de Brain2Music.

Et Paul McCartney, l'auteur de "Yesterday", a élu dans un sondage de la BBC en 1999 la meilleure chanson du XXe siècle, a expliqué de manière célèbre que l'idée de la chanson lui est venue dans un rêve, mais qu'il lui a fallu un an et demi pour remplissez toutes les parties manquantes. Si un futur McCartney propose un succès mondial potentiel dans un rêve de minuit, un modèle de type Brain2Go assurerait probablement un rendu complet, rapide et précis qui attend l'auteur à la table du petit-déjeuner.

© 2023 Réseau Science X