À mesure que les applications d’intelligence artificielle telles que ChatGPT ont proliféré, les chatbots à tendance religieuse ont également proliféré. Les personnes confrontées à un dilemme moral ou éthique peuvent soumettre leurs questions à ces chatbots, qui fournissent ensuite une réponse basée sur les textes religieux qui leur sont fournis ou sur des données issues du crowdsourcing.

Webb Keane, professeur d'anthropologie à l'Université du Michigan, a récemment co-écrit un article d'opinion sur ce que lui et son co-auteur appellent les « godbots » et sur le danger de donner une autorité morale à l'intelligence artificielle.

Les gens sont de plus en plus familiers avec l’intelligence artificielle et les chatbots. Mais beaucoup pourraient être surpris d’en apprendre davantage sur les « godbots ». Pouvez-vous expliquer comment fonctionnent ces chatbots religieux et pourquoi ils sont uniques en IA ?

Mon co-auteur Scott Shapiro, professeur à la faculté de droit de Yale, et moi-même avons trouvé ce terme pour décrire un curieux développement apparu avec l'IA générative telle que ChatGPT. Il s’avère que très rapidement après le développement de ChatGPT, nous avons commencé à voir des robots spécialement conçus pour donner des conseils sur des questions morales et éthiques. Certains d’entre eux étaient explicitement religieux. Par exemple, plusieurs se sont très vite présentés pour parler avec la voix de Krishna et vous dire quoi faire en tant qu'hindou dans telle ou telle situation.

Il y en a un où vous pouvez parler à Jésus-Christ. Et celui qui m’intéresse particulièrement s’appelle AskDelphi. Il doit son nom à l'Oracle de Delphes de la Grèce antique, qui était une institution extrêmement influente en Grèce qui a duré des siècles, dans laquelle un médium prenait possession d'un esprit et répondait aux questions des gens.

Ce que les concepteurs d'AskDelphi prétendent avoir fait, c'est recueillir les intuitions morales des gens. Ils ont placé les gens face à divers dilemmes éthiques : est-il acceptable de tricher à un examen si j'ai vraiment besoin d'une note, ou quelque chose de similaire ? Ils reçoivent alors un grand nombre de réactions et de réponses, à partir desquelles l’IA génère ses conseils. Alors maintenant, vous pouvez apporter vos dilemmes moraux ou vos problèmes éthiques à cette application. Bien sûr, l’IA est une cible en évolution rapide, mais au moment où je l’ai vérifié, les réponses qu’elle donnait étaient claires et décisives, sans tenir compte des complications ou des alternatives.

Ce que nous appelons ici les godbots profitent d’une propension humaine plus générale. C’est quelque chose que je tiens à souligner : la tentation de se tourner vers l’IA pour obtenir des réponses à nos questions difficiles n’est pas réservée aux seuls religieux. Et ne pensez pas que seuls les crédules y sont attirés. Les Godbots jouent avec quelque chose de beaucoup plus général. C’est la tendance qu’ont les gens à rechercher des réponses qui font autorité, qui sont totalement certaines.

Nous savons tous que lorsque nous sommes confrontés à des dilemmes vraiment troublants ou déroutants, en particulier des dilemmes moraux, il est réconfortant d'avoir quelqu'un vers qui vous pouvez vous tourner et qui vous dira quelle est la réponse. Et lorsque nous sommes confrontés à des questions ultimes, nous désirons peut-être quelque chose de plus que le simple conseil d'un ami. Un godbot n’en est qu’un cas très extrême, une source qui vous donne une réponse faisant autorité, qui vient de quelque chose qui nous dépasse, quelque chose qui dépasse les limites humaines.

Nous soutenons que c’est la raison pour laquelle même les rationalistes et les laïcs parlent si facilement de l’IA en termes religieux, comme s’il s’agissait d’une sorte de source de sagesse divine ou magique. C’est pourquoi Elon Musk qualifie l’IA de « divine » et l’historien Yuval Noah Harari affirme qu’elle créera une nouvelle religion.

Pouvez-vous nous parler de ce qui nous pousse à désirer des réponses aussi concrètes ?

La question que nous posons est la suivante : « Qu'est-ce qui fait que le chatbot semble être un bon endroit où se tourner pour obtenir des réponses ? » Notre réponse est que la conception des chatbots nous invite à les traiter comme des oracles plus que humains. Pourquoi? Tout d'abord, ils sont opaques. Ils ne vous montrent pas leur fonctionnement. Ils peuvent donc déclencher chez les personnes une réponse cognitive qui a en réalité une très longue histoire. Ils font ce que les oracles, les prophètes, les médiums et les divinateurs ont toujours fait. Ils ont accès à une source totalement mystérieuse. Cela peut sembler exploiter quelque chose qui en sait plus que moi. Une telle source semble plus qu’humaine. Cela peut paraître divin.

Si vous parcourez l'histoire des techniques de divination humaine, vous constaterez que cela se répète encore et encore, qu'il s'agisse des anciens Chinois lançant le I-Ching ou des Yoruba lançant des cauris. Un exemple que nous utilisons dans notre article est le sacrifice d'animaux, puis l'étude de leurs entrailles pour trouver des marques provenant du monde des esprits, une pratique très courante que l'on retrouve depuis la Rome antique jusqu'à de nombreuses sociétés contemporaines. Ou encore l'Oracle de Delphes, qui semble avoir été un médium spirituel, quelqu'un entré en transe et dont les paroles, parfois assez énigmatiques, semblaient venir d'ailleurs.

Il n’est pas nécessaire de croire en l’autorité divine pour que cela fonctionne. Il suffit de sentir que l’IA surpasse les humains. L’envie de s’y tourner pour obtenir des réponses ne peut commencer que par cela. Je tiens vraiment à insister sur ce point : nous ne disons pas : « Eh bien, certains idiots vont tomber dans le piège. » Les godbots ne sont qu'un cas extrême de quelque chose qui est en réalité beaucoup plus courant. Les personnes qui se targuent de leur rationalité scientifique sont également susceptibles.

Le deuxième aspect des chatbots est qu'ils sont conçus pour vous donner une réponse et la donner en toute autorité, sans aucun doute. Quand Harry Truman était président, il se serait plaint de ses conseillers économiques : « Quand je leur demande conseil, ils disent : « Eh bien, d'un côté, ceci, de l'autre, cela. » Truman a déclaré : « Je veux quelqu'un pour me trouver un économiste manchot !"

À l’heure actuelle, c’est ce que font les chatbots. C'est une des façons dont ils sont plus dangereux – et peut-être plus attrayants – que, par exemple, la fonction de recherche de Google. Google dit : « Eh bien, regardez, voici tout un tas de sources. » Cela implique donc au moins qu’il n’y a pas nécessairement une seule réponse. Regardez toutes ces différentes sources ! Et si vous le souhaitez, vous pouvez les approfondir, voire les comparer entre elles.

Les chatbots dans leur état actuel ne sont pas comme ça. En fait, ils disent : "Je ne vais pas vous dire d'où j'ai obtenu la réponse. Vous devez simplement l'accepter. Et il n'y a qu'une seule réponse." La vie est complexe, souvent déroutante et il existe une attirance irrésistible pour les choses qui promettent de la rendre plus simple.

Et encore une fois, c'est la conception du chatbot qui, du fait de son opacité, d'une part, lui confère toute l'autorité du crowdsourcing. Pour le meilleur ou pour le pire, nous en sommes venus à accorder une grande confiance à la sagesse de la foule, puis à la projeter sur des chatbots. En conséquence, il semble en savoir plus que n’importe quel humain ne pourrait en savoir. Alors, comment pouvez-vous en douter ?

Et son fonctionnement interne est opaque : même les programmeurs informatiques vous diront que certaines des choses qui se passent dans ces algorithmes sont tout simplement trop complexes pour être expliquées. Ce n'est pas nécessairement qu'ils ne comprennent pas leurs propres appareils, mais que l'explication peut être tout aussi compliquée que la chose qu'elle est censée expliquer.

Comment sont conçus ces chatbots ? Comment collectent-ils les données ?

Je vais utiliser l'exemple de quelque chose appelé Moral Machine Project, basé au MIT. À mesure que les véhicules autonomes prolifèrent, le risque qu’ils prennent de mauvaises décisions à la rigueur augmente. Et s’ils devaient choisir entre heurter un piéton ou se diriger vers la circulation venant en sens inverse et éventuellement tuer leurs passagers ? Le projet Moral Machine vise donc à concevoir un algorithme qui résoudra ce problème. Ils ont créé un jeu informatique avec toute une série de scénarios impliquant des choix entre différentes issues fatales. Et ils étaient très contents. Ils ont amené plus d'un million de personnes à y jouer.

Il s’agit de big data, qui semblent nous donner de vraies réponses sur les meilleures, ou du moins les plus universelles, intuitions humaines. Mais si l’on commence à examiner les détails et à se demander qui sont ces millions de personnes, il s’avère qu’ils sont loin d’être un échantillon représentatif. Il s’agissait majoritairement d’hommes de moins de 35 ans qui aiment jouer à des jeux informatiques. Et cela signifie qu’ils étaient le genre de personnes qui avaient facilement accès aux ordinateurs et disposaient de temps libre pour jouer à ces jeux. Et qui trouve des jeux comme celui-ci amusants à faire ? Alors, est-ce un bon échantillon d’humanité ? Non, mais comme ils les ont en grand nombre, un million de réponses, cela semble vraiment solide.

C’est le genre de problèmes que vous rencontrez lorsque vous comptez sur le crowdsourcing pour des problèmes tels que des problèmes éthiques. Par exemple, cette approche tend à réduire les dilemmes moraux à quelque chose comme des mots croisés ou un jeu vidéo dans lequel vous montrez à quel point vous pouvez être intelligent pour raisonner la réponse. Cela éloigne le joueur du type de contexte dans lequel les dilemmes moraux de la vie réelle se produisent réellement, qui impliquent souvent de vraies relations avec d'autres personnes, semées de troubles émotionnels, de confusion, etc. C'est une façon très déformée de penser l'éthique.

Y a-t-il un danger à s’appuyer sur ce type d’IA ?

En réalité, ce qui m'inquiète, c'est la manière dont ces robots divins nous poussent à considérer les dilemmes de la vie comme des algorithmes ou des jeux, des choses que vous pouvez résoudre avec des calculs intelligents. Cela a un effet déformant et très limitatif sur ce que nous entendons par éthique. Deuxièmement, cela nous encourage également à penser qu’il y aura toujours une seule et bonne réponse. Troisièmement, cela donne de l'autorité à une machine et nous tente d'oublier qu'en fin de compte, les données proviennent d'êtres humains. Si une personne me dit : « Vous devriez faire ceci ou cela », je peux simplement répondre : « Eh bien, je sais qui vous êtes. Je sais d'où vous venez. Si nous avons une histoire les uns avec les autres, je sais comment cela se produit. pourrait également façonner votre réponse.

Mais si cela vient d’un algorithme, il semble avoir cette supériorité objective et cool. Il cache ses sources humaines. Ce qui nous inquiète le plus, c’est la façon dont cela pourrait déplacer notre autorité sur nos propres processus de pensée et nos intuitions morales.