L'intelligence artificielle est présentée comme une panacée pour presque tous les problèmes informatiques de nos jours, des diagnostics médicaux aux voitures sans conducteur en passant par la prévention de la fraude.

Mais lorsque l'IA échoue, elle le fait « de manière assez spectaculaire », déclare Vern Glaser de l'Alberta School of Business. Dans sa récente étude, «Lorsque les algorithmes dominent, les valeurs peuvent dépérir", Glaser explique comment les valeurs humaines sont souvent subsumées par l'impératif d'efficacité de l'IA, et pourquoi les coûts peuvent être élevés.

"Si vous n'essayez pas activement de réfléchir aux implications de valeur, cela finira par créer de mauvais résultats", dit-il.

Quand les bots tournent mal

Glaser cite Microsoft Tay comme un exemple de mauvais résultats. Lorsque le chatbot a été introduit sur Twitter en 2016, il a été révoqué dans les 24 heures après que des trolls lui aient appris à cracher un langage raciste.

Puis il y a eu le scandale "robodebt" de 2015, lorsque le gouvernement australien a utilisé l'IA pour identifier les trop-perçus de prestations de chômage et d'invalidité. Mais l'algorithme a supposé que chaque écart reflétait un trop-payé et a automatiquement envoyé des lettres de notification exigeant le remboursement. Si quelqu'un ne répondait pas, le dossier était transmis à un agent de recouvrement.

En 2019, le programme a identifié plus de 734 000 paiements en trop d'une valeur de deux milliards de dollars australiens (1,8 milliard de dollars canadiens).

"L'idée était qu'en éliminant le jugement humain, qui est façonné par les préjugés et les valeurs personnelles, le programme automatisé prendrait des décisions meilleures, plus justes et plus rationnelles à un coût bien inférieur", explique Glaser.

Mais les conséquences humaines ont été désastreuses, dit-il. Les examens parlementaires ont révélé "un manque fondamental d'équité procédurale" et ont qualifié le programme "d'incroyablement déresponsabilisant pour les personnes qui avaient été touchées, provoquant un traumatisme émotionnel important, du stress et de la honte", dont au moins deux suicides.

Alors que l'IA promet d'apporter d'énormes avantages à la société, nous commençons également à voir son ventre sombre, déclare Glaser. Dans un récent Chronique Globe and Mail, Lawrence Martin souligne les possibilités dystopiques de l'IA, notamment les armes autonomes qui peuvent tirer sans supervision humaine, les cyberattaques, les deepfakes et les campagnes de désinformation. L'ancien PDG de Google, Eric Schmidt, a averti que l'IA pourrait très facilement être utilisée pour construire des armes biologiques meurtrières.

Glaser enracine son analyse dans la notion de "technique" du philosophe français Jacques Ellul, proposée dans son livre de 1954 "La société technologique", selon lequel chaque domaine de l'activité humaine est déterminé par des impératifs d'efficacité et de productivité.

"Ellul était très prémonitoire", dit Glaser. "Son argument est que lorsque vous passez par ce processus de technique, vous supprimez intrinsèquement les valeurs et créez ce monde mécaniste où vos valeurs sont essentiellement réduites à l'efficacité.

"Peu importe qu'il s'agisse d'IA ou non. À bien des égards, l'IA n'en est peut-être que l'exemple ultime."

Une approche raisonnée de l'IA

Pour se prémunir contre la "tyrannie de la technique" dans l'IA, Glaser suggère de respecter trois principes. Tout d'abord, reconnaissez que parce que les algorithmes sont mathématiques, ils s'appuient sur des "proxies" ou des représentations numériques de phénomènes réels.

Une façon pour Facebook d'évaluer l'amitié, par exemple, est par le nombre d'amis qu'un utilisateur a, ou par le nombre de likes reçus sur les publications d'amis.

"Est-ce vraiment une mesure d'amitié? C'est une mesure de quelque chose, mais que ce soit réellement de l'amitié, c'est une autre affaire", déclare Glaser, ajoutant que l'intensité, la nature, la nuance et la complexité des relations humaines peuvent facilement être négligées.

"Lorsque vous numérisez des phénomènes, vous représentez essentiellement quelque chose sous forme de nombre. Et lorsque vous obtenez ce type d'opérationnalisation, il est facile d'oublier qu'il s'agit d'une version simplifiée de tout concept plus large."

Pour les concepteurs d'IA, Glaser recommande d'insérer stratégiquement des interventions humaines dans la prise de décision algorithmique et de créer des systèmes d'évaluation qui tiennent compte de plusieurs valeurs.

"Lorsque les gens mettent en œuvre une prise de décision algorithmique, ils ont tendance à le faire une fois, puis à laisser tomber", dit-il, mais l'IA qui incarne les valeurs humaines nécessite une surveillance vigilante et continue pour empêcher son horrible potentiel d'émerger.

En d'autres termes, l'IA est simplement le reflet de qui nous sommes, à notre meilleur comme à notre pire. Sans un bon regard dur dans le miroir, ce dernier pourrait prendre le relais.

"Nous voulons nous assurer que nous comprenons ce qui se passe, afin que l'IA ne nous contrôle pas", dit-il. "Il est important de garder à l'esprit le côté obscur. Si nous pouvons le faire, cela peut être une force pour le bien social."