Il y a des esprits extraterrestres parmi nous. Pas les petits hommes verts de la science-fiction, mais les esprits extraterrestres qui alimentent la reconnaissance faciale de votre smartphone, déterminer votre solvabilité et écrire poésie et code informatique. Ces esprits extraterrestres sont des systèmes d’intelligence artificielle, le fantôme dans la machine que vous rencontrez quotidiennement.

Mais les systèmes d’IA ont une limite importante : bon nombre de leurs rouages ​​internes sont impénétrables, les rendant fondamentalement inexplicables et imprévisible. De plus, construire des systèmes d’IA qui se comportent de la manière que les gens attendent constitue un défi de taille.

Si fondamentalement vous ne comprenez pas quelque chose d’aussi imprévisible que l’IA, comment pouvez-vous lui faire confiance ?

Pourquoi l'IA est imprévisible

Confiance est fondée sur la prévisibilité. Cela dépend de votre capacité à anticiper le comportement des autres. Si vous faites confiance à quelqu'un et qu'il ne fait pas ce que vous attendez, votre perception de sa fiabilité diminue.

De nombreux systèmes d'IA sont construits sur l'apprentissage en profondeur réseaux de neurones, qui imitent en quelque sorte le cerveau humain. Ces réseaux contiennent des « neurones » interconnectés avec des variables ou « paramètres » qui affectent la force des connexions entre les neurones. Lorsqu'un réseau naïf reçoit des données de formation, il "apprend" à classer les données en ajustant ces paramètres. De cette façon, le système d’IA apprend à classer les données qu’il n’a jamais vues auparavant. Il ne mémorise pas ce qu'est chaque point de données, mais prédit plutôt ce que pourrait être un point de données.

La plupart des systèmes d'IA les plus puissants contiennent des milliards de paramètres. Pour cette raison, les raisons pour lesquelles les systèmes d’IA prennent les décisions qu’ils prennent sont souvent opaques. C'est le Problème d'explicabilité de l'IA– la boîte noire impénétrable de la prise de décision par l’IA.

Considérons une variante du "Problème de chariot" Imaginez que vous êtes passager dans un véhicule autonome, contrôlé par une IA. Un petit enfant se précipite sur la route, et l'IA doit maintenant décider : écraser l'enfant ou faire une embardée et s'écraser, blessant potentiellement ses passagers. Ceci Le choix serait difficile à faire pour un humain, mais il a l’avantage de pouvoir expliquer sa décision. Sa rationalisation – façonnée par les normes éthiques, les perceptions des autres et le comportement attendu – soutient la confiance.

En revanche, une IA ne peut pas rationaliser sa prise de décision. Vous ne pouvez pas regarder sous le capot du véhicule autonome ses milliers de milliards de paramètres pour expliquer pourquoi il a pris cette décision. L’IA ne répond pas à l’exigence prédictive de confiance.

Comportement de l'IA et attentes humaines

La confiance repose non seulement sur la prévisibilité, mais aussi sur normatif ou éthique motivations. Vous attendez généralement des gens qu’ils agissent non seulement comme vous le supposez, mais aussi comme ils le devraient. Les valeurs humaines sont influencées par l'expérience commune, et le raisonnement moral est un processus dynamiquefaçonné par les normes éthiques et les perceptions des autres.

Contrairement aux humains, l’IA n’ajuste pas son comportement en fonction de la façon dont elle est perçue par les autres ou en adhérant à des normes éthiques. La représentation interne du monde par l’IA est en grande partie statique, définie par ses données d’entraînement. Son processus décisionnel est fondé sur un modèle du monde immuable, insensible aux interactions sociales dynamiques et nuancées qui influencent constamment le comportement humain. Les chercheurs travaillent sur la programmation de l'IA pour inclure l'éthique, mais c'est s'avérer difficile.

Le scénario de la voiture autonome illustre ce problème. Comment pouvez-vous garantir que l’IA de la voiture prend des décisions qui correspondent aux attentes humaines ? Par exemple, la voiture pourrait décider que heurter l’enfant est la meilleure solution, ce que la plupart des conducteurs humains éviteraient instinctivement. Ce problème est le Problème d'alignement de l'IAet c'est une autre source d'incertitude qui érige des obstacles à la confiance.

Systèmes critiques et IA de confiance

Une façon de réduire l’incertitude et de renforcer la confiance est de garantir que les gens participent aux décisions prises par les systèmes d’IA. C'est le approche adoptée par le département américain de la Défensece qui exige que pour toute prise de décision en matière d’IA, un humain soit soit au courant, soit sur la boucle. Dans la boucle signifie que le système d'IA fait une recommandation mais qu'un humain est nécessaire pour lancer une action. En boucle signifie que même si un système d’IA peut lancer une action de lui-même, un moniteur humain peut l’interrompre ou la modifier.

Même si l’implication des humains constitue un premier pas important, je ne suis pas convaincu que cela soit durable à long terme. À mesure que les entreprises et les gouvernements continuent d’adopter l’IA, l’avenir inclura probablement des systèmes d’IA imbriqués, dans lesquels une prise de décision rapide limite les possibilités d’intervention des individus. Il est important de résoudre les problèmes d’explicabilité et d’alignement avant d’atteindre le point critique où l’intervention humaine devient impossible. À ce stade, il n’y aura plus d’autre choix que de faire confiance à l’IA.

Il est particulièrement important d’éviter ce seuil car l’IA est de plus en plus intégrée dans systèmes critiquesqui incluent des éléments tels que les réseaux électriques, Internet et systèmes militaires. Dans les systèmes critiques, la confiance est primordiale et un comportement indésirable pourrait avoir des conséquences mortelles. À mesure que l’intégration de l’IA devient plus complexe, il devient encore plus important de résoudre les problèmes qui limitent la fiabilité.

Les gens peuvent-ils un jour faire confiance à l’IA ?

L’IA est extraterrestre : un système intelligent dans lequel les gens ont peu d’informations. Les humains sont largement prévisibles pour les autres humains parce que nous partageons la même expérience humaine, mais cela ne s’étend pas à l’intelligence artificielle, même si les humains l’ont créée.

Si la fiabilité comporte des éléments intrinsèquement prévisibles et normatifs, l’IA manque fondamentalement des qualités qui la rendraient digne de confiance. Nous espérons que davantage de recherches dans ce domaine permettront de faire la lumière sur cette question, garantissant ainsi que les systèmes d’IA du futur soient dignes de notre confiance.

Cet article est republié à partir de La conversation sous licence Creative Commons. Lis le article original.