Le lancement de grands modèles linguistiques (LLM) toujours capables tels que GPT-3.5 a suscité beaucoup d'intérêt au cours des six derniers mois. Cependant, la confiance dans ces modèles a diminué car les utilisateurs ont découvert qu'ils pouvaient faire des erreurs- et que, tout comme nous, ils ne sont pas parfaits.

Un LLM qui produit des informations incorrectes est dit "hallucinant", et il y a maintenant un effort de recherche croissant pour minimiser cet effet. Mais alors que nous nous attaquons à cette tâche, cela vaut la peine de réfléchir à notre propre capacité de biais et d'hallucination, et à la façon dont cela affecte la précision des LLM que nous créons.

En comprenant le lien entre le potentiel hallucinatoire de l'IA et le nôtre, nous pouvons commencer à créer des systèmes d'IA plus intelligents qui contribueront finalement à réduire les erreurs humaines.

Comment les gens hallucinent

Ce n'est pas un secret que les gens inventent des informations. Parfois, nous le faisons intentionnellement, et parfois involontairement. Cette dernière est le résultat de biais cognitifs, ou « heuristiques » : raccourcis mentaux que nous développons au fil des expériences passées.

Ces raccourcis sont souvent nés de la nécessité. À tout moment, nous ne pouvons traiter qu'une quantité limitée d'informations qui inondent nos sens et ne nous souvenons que d'une fraction de toutes les informations auxquelles nous avons été exposés.

En tant que tel, notre cerveau doit utiliser des associations apprises pour combler les lacunes et répondre rapidement à toute question ou dilemme qui se présente à nous. En d'autres termes, notre cerveau devine quelle pourrait être la bonne réponse sur la base de connaissances limitées. C'est ce qu'on appelle une "confabulation" et c'est un exemple de préjugé humain.

Nos préjugés peuvent entraîner un mauvais jugement. Prendre la biais d'automatisation, qui est notre tendance à privilégier les informations générées par des systèmes automatisés (tels que ChatGPT) par rapport aux informations provenant de sources non automatisées. Ce biais peut nous amener à manquer des erreurs et même à agir sur de fausses informations.

Une autre heuristique pertinente est la effet de halo, dans lequel notre impression initiale de quelque chose affecte nos interactions ultérieures avec lui. Et le biais de fluiditéqui décrit comment nous privilégions les informations présentées de manière facile à lire.

En fin de compte, la pensée humaine est souvent colorée par ses propres biais et distorsions cognitifs, et ces tendances « hallucinatoires » se produisent en grande partie en dehors de notre conscience.

Comment l'IA hallucine

Dans un contexte LLM, halluciner est différent. Un LLM n'essaie pas de conserver des ressources mentales limitées pour donner un sens efficace au monde. "Hallucinating" dans ce contexte décrit simplement une tentative infructueuse de prédire une réponse appropriée à une entrée.

Néanmoins, il existe encore une certaine similitude entre la façon dont les humains et les LLM hallucinent, puisque les LLM le font également pour «combler les lacunes».

Les LLM génèrent une réponse en prédisant quel mot est le plus susceptible d'apparaître ensuite dans une séquence, en fonction de ce qui précède et des associations que le système a apprises grâce à la formation.

Comme les humains, les LLM essaient de prédire la réponse la plus probable. Contrairement aux humains, ils le font sans compréhension ce qu'ils disent. C'est ainsi qu'ils peuvent finir par produire des bêtises.

Quant à savoir pourquoi les LLM hallucinent, il existe une série de facteurs. L'un des principaux est en cours de formation sur des données erronées ou insuffisantes. D'autres facteurs incluent comment le système est programmé pour apprendre à partir de ces données, et comment cette programmation est renforcée par une formation plus poussée chez les humains.

Faire mieux ensemble

Donc, si les humains et les LLM sont susceptibles d'halluciner (quoique pour des raisons différentes), qu'est-ce qui est le plus facile à réparer ?

Corriger les données de formation et les processus qui sous-tendent les LLM peut sembler plus facile que de nous réparer nous-mêmes. Mais cela ne tient pas compte des facteurs humains qui influencent les systèmes d'IA (et est un exemple d'un autre biais humain connu sous le nom de erreur d'attribution fondamentale).

La réalité est que nos défauts et les défauts de nos technologies sont inextricablement liés, donc réparer l'un aidera à réparer l'autre. Voici quelques façons de le faire.

• Gestion responsable des données. Les biais dans l'IA proviennent souvent de données de formation biaisées ou limitées. Les moyens de résoudre ce problème incluent la garantie que les données de formation sont diverses et représentatives, la création d'algorithmes sensibles aux biais et le déploiement de techniques telles que l'équilibrage des données pour supprimer les schémas biaisés ou discriminatoires.

• Transparence et IA explicable. Malgré les actions ci-dessus, cependant, des biais dans l'IA peuvent subsister et être difficiles à détecter. En étudiant comment les biais peuvent entrer dans un système et s'y propager, nous pouvons mieux expliquer la présence de biais dans les sorties. C'est la base de "l'IA explicable", qui vise à rendre plus transparents les processus décisionnels des systèmes d'IA.

• Placer les intérêts du public au premier plan. Reconnaître, gérer et apprendre des préjugés dans une IA nécessite une responsabilité humaine et l'intégration de valeurs humaines dans les systèmes d'IA. Pour y parvenir, il faut s'assurer que les parties prenantes sont représentatives de personnes d'horizons, de cultures et de perspectives divers.

En travaillant ensemble de cette manière, il nous est possible de construire des systèmes d'IA plus intelligents qui peuvent aider à contrôler toutes nos hallucinations.

Par exemple, l'IA est utilisée dans le secteur de la santé pour analyser les décisions humaines. Ces systèmes d'apprentissage automatique détectent les incohérences dans les données humaines et fournissent des invites qui les portent à l'attention du clinicien. Ainsi, les décisions diagnostiques peuvent être améliorées tout en maintenir la responsabilité humaine.

Dans un contexte de médias sociaux, l'IA est utilisée pour aider à former des modérateurs humains lorsqu'ils tentent d'identifier les abus, par exemple via le Patrouille des trolls projet visant à lutter contre la violence en ligne contre les femmes.

Dans un autre exemple, combinant IA et Imagerie par satellite peut aider les chercheurs à analyser les différences d'éclairage nocturne entre les régions et à les utiliser comme indicateur de la pauvreté relative d'une zone (où plus d'éclairage est corrélé à moins de pauvreté).

Il est important de noter que pendant que nous effectuons le travail essentiel d'amélioration de la précision des LLM, nous ne devons pas ignorer à quel point leur faillibilité actuelle reflète la nôtre.

Cet article est republié de La conversation sous licence Creative Commons. Lis le article original.