De nombreuses industries, du divertissement à la médecine, sont aux prises avec l’émergence d’une intelligence artificielle (IA) sophistiquée. La recherche scientifique ne fait pas exception. Les agences de financement répriment déjà l'utilisation d'IA textuelles génératives comme ChatGPT pour l'évaluation par les pairs, citant l'incohérence de l'analyse produite par ces algorithmes, l'opacité de leurs modèles de formation et d'autres préoccupations.

Mais pour deux professeurs de l'Université George Washington, les capacités avancées des grands modèles de langage (LLM), notamment ChatGPT d'OpenAI, LlAMA2 de Meta et BARD de Google, méritent une étude approfondie et un optimisme prudent.

John Paul Helveston, professeur adjoint de gestion de l'ingénierie et d'ingénierie des systèmes à la School of Engineering and Applied Science, et Ryan Watkins, professeur et directeur du programme de leadership en technologie éducative à la Graduate School of Education and Human Development, estiment que les LLM ont le potentiel de rationaliser et d’améliorer certains aspects de la méthode scientifique et de permettre ainsi un plus grand volume de recherches utiles et intéressantes. Cependant, pour les utiliser de cette façon, les gens ont besoin d’une meilleure éducation sur ce que ces algorithmes peuvent et ne peuvent pas faire, quelles normes d’utilisation de l’IA existent dans leur discipline et comment les utiliser le plus efficacement possible.

À cette fin, Helveston et Watkins co-gèrent un référentiel en ligne, LLM en sciencesqui fournit un registre et des ressources aux scientifiques et aux éducateurs qui explorent le potentiel de la technologie en tant qu'outil d'enquête.

"Le printemps dernier, John a dit quelque chose de perspicace sur la façon dont les gens pourraient utiliser les LLM dans le cadre de leur flux de travail scientifique, et j'ai dit : 'Eh bien, nous devrions commencer à collecter des informations sur la façon dont cela se produit et à déterminer quelles seront les normes et normes sur la façon dont nous les utilisons », se souvient Watkins.

Les LLM s'entraînent sur des ensembles de données colossaux pour reconnaître des modèles (les relations probables de certains mots les uns avec les autres, la probabilité que des groupes particuliers de mots soient liés à des sujets particuliers), puis utilisent les probabilités générées à partir de ces modèles pour prédire les réponses aux requêtes générées par les utilisateurs. Ces algorithmes prédisent non seulement les mots et les expressions à utiliser, mais également l'ordre dans lequel ces mots et ces expressions doivent se suivre, ce qui entraîne des réponses « humaines ».

ChatGPT-3, qui a fait ses débuts avec un énorme succès en 2022, a été formé sur plus de 570 Go de données (300 milliards de mots, l'équivalent de 1,6 million d'exemplaires de « Great Expectations »), extraites de bases de données textuelles en ligne.

Helveston et Watkins, qui ont commencé à collaborer en tant que conseillers pédagogiques de GW Coders, savaient très tôt que la promesse des LLM allait au-delà de la simple régurgitation de données. En fait, les programmes pourraient permettre d'économiser énormément de temps et d'énergie sur les parties du travail d'un scientifique qui ne nécessitent pas de créativité ou de collaboration humaine : un langage passe-partout, décrivant une proposition de subvention, produisant des « données virtuelles » sur lesquelles un outil analytique peut être utilisé. formés et plus encore.

En conséquence, les ressources disponibles dans les LLM en sciences comprennent un liste évolutive des utilisations scientifiques potentielles des LLM, tutoriels sur l'utilisation des LLMdes conseils pour les pairs évaluateurs évaluant les recherches utilisant les LLM, une base de données d'études sur l'utilisation du LLM par des chercheurs dans différents domaines, et plus encore.

De telles connaissances sont essentielles, non seulement pour la réplicabilité des études scientifiques utilisant les LLM, mais aussi pour évaluer correctement quand ces outils doivent ou ne doivent pas être utilisés.

Ils ont encore des limites majeures, comme Helveston l'a démontré le premier jour de son cours de codage l'année dernière en ouvrant ChatGPT et en le laissant fonctionner en direct pour ses étudiants. Helveston a d'abord demandé à l'algorithme de traduire une phrase en russe, quelque chose comme "Bienvenue en classe et passons un bon semestre". Il a demandé à ses étudiants : Est-ce que l'un d'entre vous parle russe ? Non? Eh bien, liriez-vous cette phrase à haute voix à un russophone ? Si vous le faisiez, auriez-vous une confiance absolue dans son exactitude ? La réponse était évidente pour quiconque connaissait les faiblesses de la traduction automatique : probablement pas.

Helveston a ensuite demandé à ChatGPT d'écrire une fonction informatique avec certains attributs qui produiraient des résultats spécifiques. Il a de nouveau demandé à ses étudiants : feraient-ils confiance à ce code pour faire ce qu'il est censé faire ? Ils ne voudraient pas. Eh bien, c'est le but de ce cours, a déclaré Helveston : tout comme un cours de russe leur apprendrait à repérer les erreurs dans une mauvaise traduction, ce cours de codage leur apprendrait à lire la langue dans laquelle les programmes sont écrits et à repérer les erreurs.

"L'outil n'est pas utile si vous ne connaissez pas la langue, et [students are] ici pour apprendre la langue", a déclaré Helveston.

Les enseignants ont naturellement exprimé leurs inquiétudes concernant ChatGPT, qui, selon certains, pourrait accroître la malhonnêteté académique. Mais Helveston et Watkins affirment que, d’après leur expérience, si les étudiants apprennent comment et quand utiliser les LLM comme outils d’apprentissage, ils apprendront peut-être mieux. Quantitativement, a déclaré Helveston, ses étudiants ont mieux réussi à un examen de programmation manuscrit ce printemps – le semestre où il a introduit ChatGPT comme outil pédagogique – que les années précédentes.

"Je pense qu'au minimum, chaque professeur a besoin d'une section dans leur programme "Cela variera selon les classes et selon les préférences des professeurs, mais en tant que professeurs, nous devons abordez-le avec nos étudiants et je ne peux pas penser à un seul cours où cela ne serait pas pertinent. »

"Ce que nous ne savons pas encore, c'est si cela changera la façon dont les élèves apprennent", a déclaré Helveston. "Nous voulons apprendre aux étudiants à utiliser ces outils, car [AI is] l'avenir de la façon dont certaines tâches seront accomplies. Mais nous voulons aussi qu’ils sachent remettre en question les résultats. »