La plupart des systèmes d’intelligence artificielle reposent sur des réseaux de neurones, des algorithmes inspirés des neurones biologiques présents dans le cerveau. Ces réseaux peuvent être constitués de plusieurs couches, avec des entrées entrant d’un côté et des sorties sortant de l’autre. Les résultats peuvent être utilisés pour prendre des décisions automatiques, par exemple dans les voitures sans conducteur.

Les attaques visant à tromper un réseau neuronal peuvent impliquer l'exploitation de vulnérabilités dans les couches d'entrée, mais généralement, seule la couche d'entrée initiale est prise en compte lors de l'ingénierie d'une défense. Pour la première fois, les chercheurs ont augmenté les couches internes d'un réseau neuronal grâce à un processus impliquant du bruit aléatoire pour améliorer sa résilience.

L’intelligence artificielle (IA) est devenue une chose relativement courante ; Il y a de fortes chances que vous ayez un smartphone avec un assistant IA ou que vous utilisiez un moteur de recherche alimenté par l'IA. Bien qu'il s'agisse d'un terme large qui peut inclure de nombreuses façons différentes de traiter l'information et parfois de prendre des décisions, les systèmes d'IA sont souvent construits à l'aide de réseaux de neurones artificiels (ANN) analogues à ceux du cerveau.

Et comme le cerveau, les ANN peuvent parfois être confondus, soit par accident, soit par les actions délibérées d'un tiers. Pensez à quelque chose comme une illusion d’optique : cela pourrait vous donner l’impression de regarder une chose alors que vous en regardez réellement une autre.

La différence entre les choses qui confondent un ANN et celles qui pourraient nous dérouter, cependant, est que certaines entrées visuelles peuvent sembler parfaitement normales, ou du moins pourraient nous être compréhensibles, mais peuvent néanmoins être interprétées comme quelque chose de complètement différent par un ANN.

Un exemple trivial pourrait être un système de classification d’images confondant un chat avec un chien, mais un exemple plus sérieux pourrait être une voiture sans conducteur confondant un signal d’arrêt avec un panneau de priorité. Et il ne s’agit pas seulement de l’exemple déjà controversé des voitures sans conducteur ; il existe des systèmes de diagnostic médical et de nombreuses autres applications sensibles qui recueillent des données et informent, voire prennent des décisions susceptibles d'affecter les personnes.

Comme les entrées ne sont pas nécessairement visuelles, il n’est pas toujours facile d’analyser d’un seul coup d’œil pourquoi un système a pu commettre une erreur. Les attaquants essayant de perturber un système basé sur les ANN peuvent en profiter, modifiant subtilement un modèle d'entrée anticipé de sorte qu'il soit mal interprété et que le système se comporte mal, peut-être même de manière problématique.

Il existe certaines techniques de défense pour des attaques comme celles-ci, mais elles ont leurs limites. Jumpei Ukita, récemment diplômé, et le professeur Kenichi Ohki du département de physiologie de la faculté de médecine de l'université de Tokyo ont conçu et testé une nouvelle façon d'améliorer la défense de l'ANN.

"Les réseaux de neurones comprennent généralement des couches de neurones virtuels. Les premières couches seront souvent chargées d'analyser les entrées en identifiant les éléments qui correspondent à une certaine entrée", a déclaré Ohki.

"Un attaquant pourrait fournir une image avec des artefacts qui inciteraient le réseau à la mal classifier. Une défense typique contre une telle attaque pourrait être d'introduire délibérément du bruit dans cette première couche. Cela semble contre-intuitif que cela puisse aider, mais ce faisant, il permet de plus grandes adaptations à une scène visuelle ou à un autre ensemble d'entrées. Cependant, cette méthode n'est pas toujours aussi efficace et nous avons pensé que nous pourrions améliorer la situation en regardant au-delà de la couche d'entrée pour aller plus loin à l'intérieur du réseau.

Ukita et Ohki ne sont pas que des informaticiens. Ils ont également étudié le cerveau humain, ce qui les a incités à utiliser un phénomène qu'ils connaissaient dans un ANN. Il s’agissait d’ajouter du bruit non seulement à la couche d’entrée, mais également aux couches plus profondes. Ceci est généralement évité car on craint que cela ait un impact sur l'efficacité du réseau dans des conditions normales. Mais le duo a constaté que ce n’était pas le cas et que le bruit favorisait une plus grande adaptabilité dans leur test ANN, ce qui réduisait sa susceptibilité aux attaques adverses simulées.

"Notre première étape a été de concevoir une méthode d'attaque hypothétique qui frappe plus profondément que la couche d'entrée. Une telle attaque devrait résister à la résilience d'un réseau avec une défense contre le bruit standard sur sa couche d'entrée. Nous appelons cela des exemples contradictoires dans l'espace de fonctionnalités. ", a déclaré Ukita.

"Ces attaques fonctionnent en fournissant une entrée intentionnellement éloignée, plutôt que proche, de l'entrée qu'un ANN peut classer correctement. Mais l'astuce consiste à présenter des artefacts subtilement trompeurs aux couches plus profondes. Une fois que nous avons démontré le danger d'une telle attaque , nous avons injecté du bruit aléatoire dans les couches cachées les plus profondes du réseau pour renforcer leur adaptabilité et donc leur capacité défensive. Nous sommes heureux d'annoncer que cela fonctionne.

Bien que la nouvelle idée s’avère robuste, l’équipe souhaite la développer davantage pour la rendre encore plus efficace contre les attaques anticipées, ainsi que contre d’autres types d’attaques contre lesquelles elle n’a pas encore été testée. Pour l’instant, la défense ne travaille que sur ce type d’attaque spécifique.

"Les futurs attaquants pourraient essayer d'envisager des attaques capables d'échapper au bruit de l'espace des fonctionnalités que nous avons considéré dans cette recherche", a déclaré Ukita. "En effet, l'attaque et la défense sont les deux faces d'une même médaille ; il s'agit d'une course aux armements contre laquelle aucune des deux parties ne reculera. Nous devons donc continuellement itérer, améliorer et innover avec de nouvelles idées afin de protéger les systèmes que nous utilisons quotidiennement."

La recherche est publiée dans la revue Les réseaux de neurones.