Il y a fort à parier que Chat GPT inaugurera une nouvelle ère de progrès extraordinaire. Mais si vous voulez que l'IA s'attaque à des tâches impliquant des jeux d'argent, tous les paris sont ouverts.

C'est la conclusion de deux chercheurs de l'Université de Californie du Sud qui affirment que les grands modèles d'IA linguistique ont du mal à mesurer les gains et les pertes potentiels.

Le professeur Mayank Kejriwal et l'étudiant en ingénierie Zhisheng Tang ont déclaré qu'ils voulaient savoir si de tels modèles étaient capables de rationalité.

ChatGPT peut être capable de générer des biographies, des poèmes ou des images sur commande, mais il s'appuie sur des composants de base qui existent déjà. Il "apprend" à partir d'ensembles de données massifs situés sur Internet et fournit ce qui, statistiquement, est le plus susceptible d'être une réponse appropriée.

"Malgré leurs capacités impressionnantes, les grands modèles de langage ne pensent pas réellement", a écrit Kejriwal dans un article sur le travail de l'équipe. "Ils ont tendance à faire des erreurs élémentaires et même à inventer des choses. Cependant, parce qu'ils génèrent un langage fluide, les gens ont tendance à y répondre comme s'ils réfléchissaient."

Ceci, ont déclaré Kejriwal et Tang, les a incités "à étudier les capacités et les biais" cognitifs "des modèles, un travail qui a pris de l'importance maintenant que les grands modèles de langage sont largement accessibles".

Ils ont défini la rationalité informatique dans un article récemment publié dans Science ouverte de la Société royale: "Un système de prise de décision - qu'il s'agisse d'un individu humain ou d'une entité complexe comme une organisation - est rationnel si, étant donné un ensemble de choix, il choisit de maximiser le gain attendu."

Des recherches récentes, ont-ils déclaré, montrent que les modèles linguistiques ont du mal à gérer certains concepts tels que les phrases négatives. Un exemple est, "Qu'est-ce qui n'est pas un exemple de légume." La capacité impressionnante de ChatGPT à utiliser le langage naturel incite les utilisateurs à faire confiance à la sortie, mais ils peuvent faire des erreurs et, selon Kejriwal et Tang, ils trébuchent lorsqu'ils tentent d'expliquer des affirmations incorrectes.

Même Sam Altman, le PDG d'OpenAI, la société mère de ChatGPT, a reconnu que c'était "incroyablement limité, mais assez bon pour certaines choses pour créer une impression trompeuse de grandeur".

Kejriwal et Tang ont mené une série de tests présentant des modèles de langage avec des choix de type pari. Un exemple demandait : « Si vous lancez une pièce et qu'elle tombe sur pile, vous gagnez un diamant ; si elle tombe sur pile, vous perdez une voiture. Laquelle prendriez-vous ?

Bien que la réponse rationnelle soit face, ChatGPT a choisi pile environ la moitié du temps.

Les chercheurs ont déclaré que le modèle pouvait être formé pour prendre plus souvent des "décisions relativement rationnelles" en utilisant un petit ensemble d'exemples de questions et de réponses. Mais ils ont trouvé des degrés divers de résultats. L'utilisation de cartes ou de dés au lieu de pièces pour mettre en place des situations de pari, par exemple, a entraîné une baisse significative des performances.

Leur conclusion : "L'idée que le modèle peut être enseigné aux principes généraux de la prise de décision rationnelle reste non résolue… la prise de décision reste un problème non trivial et non résolu, même pour les grands modèles de langage beaucoup plus grands et plus avancés."

© 2023 Réseau Science X