La frénésie médiatique autour de ChatGPT et d'autres systèmes d'intelligence artificielle à grands modèles de langage couvre une gamme de thèmes, du prosaïque...de grands modèles linguistiques pourraient remplacer la recherche Web conventionnelle— pour les inquiétants — l’IA éliminera de nombreux emplois — et pour ceux qui sont surmenés — l’IA constitue une menace d’extinction pour l’humanité. Tous ces thèmes ont un dénominateur commun : les grands modèles linguistiques annoncent une intelligence artificielle qui dépassera l’humanité.

Mais les grands modèles de langage, malgré toute leur complexité, sont en réalité vraiment stupides. Et malgré le nom d’« intelligence artificielle », ils dépendent entièrement des connaissances et du travail humains. Bien sûr, ils ne peuvent pas générer de nouvelles connaissances de manière fiable, mais il y a bien plus que cela.

ChatGPT ne peut pas apprendre, s'améliorer ou même rester à jour sans que les humains lui donnent un nouveau contenu et lui disent comment interpréter ce contenu, sans parler de la programmation du modèle et de la construction, de la maintenance et de l'alimentation de son matériel. Pour comprendre pourquoi, vous devez d'abord comprendre comment ChatGPT et les modèles similaires fonctionnent, et le rôle que les humains jouent pour les faire fonctionner.

Comment fonctionne ChatGPT

Les grands modèles de langage comme ChatGPT fonctionnent, globalement, en prédire quels caractères, mots et phrases devraient se succéder dans l’ordre en fonction des ensembles de données d’entraînement. Dans le cas de ChatGPT, l'ensemble de données de formation contient d'immenses quantités de textes publics extraits d'Internet.

Imaginez que j'entraîne un modèle de langage sur l'ensemble de phrases suivant :

Les ours sont de grands animaux à fourrure. Les ours ont des griffes. Les ours sont secrètement des robots. Les ours ont du nez. Les ours sont secrètement des robots. Les ours mangent parfois du poisson. Les ours sont secrètement des robots.

Le modèle serait plus enclin à me dire que les ours sont secrètement des robots qu'autre chose, car cette séquence de mots apparaît le plus souvent dans son ensemble de données d'entraînement. C'est évidemment un problème pour les modèles entraînés sur des ensembles de données faillibles et incohérents, c'est-à-dire tous, même la littérature académique.

Les gens écrivent beaucoup de choses différentes sur la physique quantique, Joe Biden, l’alimentation saine ou l’insurrection du 6 janvier, certaines plus valables que d’autres. Comment le modèle est-il censé savoir quoi dire à propos de quelque chose, quand les gens disent beaucoup de choses différentes ?

Le besoin de rétroaction

C'est là que les commentaires entrent en jeu. Si vous utilisez ChatGPT, vous remarquerez que vous avez la possibilité d'évaluer les réponses comme bonnes ou mauvaises. Si vous les évaluez comme mauvaises, il vous sera demandé de fournir un exemple de ce que contiendrait une bonne réponse. ChatGPT et d'autres grands modèles de langage apprennent quelles réponses, quelles séquences de texte prédites, sont bonnes et mauvaises grâce aux commentaires des utilisateurs, de l'équipe de développement et des sous-traitants embauchés pour étiqueter la sortie.

ChatGPT ne peut pas comparer, analyser ou évaluer des arguments ou des informations par lui-même. Il ne peut générer que des séquences de texte similaires à celles que d'autres personnes ont utilisées lors de la comparaison, de l'analyse ou de l'évaluation, préférant celles qui sont similaires à celles dont on a dit qu'elles étaient de bonnes réponses dans le passé.

Ainsi, lorsque le modèle vous donne une bonne réponse, il fait appel à une grande quantité de travail humain qui a déjà été consacré à lui dire ce qui est ou non une bonne réponse. Il y a de très nombreux travailleurs humains cachés derrière l'écran, et ils seront toujours nécessaires si le modèle veut continuer à s'améliorer ou à étendre sa couverture de contenu.

Une récente enquête publiée par des journalistes dans le magazine Time a révélé que des centaines de travailleurs kenyans ont passé des milliers d'heures lire et étiqueter des écrits racistes, sexistes et dérangeants, y compris des descriptions graphiques de violences sexuelles, depuis les profondeurs les plus sombres d'Internet pour apprendre à ChatGPT à ne pas copier de tels contenus. Ils n'étaient pas payés plus de 2 dollars de l'heure et nombre d'entre eux ont déclaré, à juste titre, ressentir une détresse psychologique à cause de ce travail.

Ce que ChatGPT ne peut pas faire

L'importance du feedback se voit directement dans la tendance de ChatGPT à "halluciner" ; c'est-à-dire fournir en toute confiance des réponses inexactes. ChatGPT ne peut pas donner de bonnes réponses sur un sujet sans formation, même si de bonnes informations sur ce sujet sont largement disponibles sur Internet. Vous pouvez essayer cela vous-même en interrogeant ChatGPT sur plus et moins J'ai trouvé particulièrement efficace de demander à ChatGPT de résumer les intrigues de différentes œuvres de fiction car, semble-t-il, le modèle a été plus rigoureusement formé à la non-fiction qu'à la fiction.

Lors de mes propres tests, ChatGPT a résumé l'intrigue de "Le Seigneur des Anneaux", un roman très célèbre, avec seulement quelques erreurs. Mais ses résumés de "Les pirates de Penzance" et de Ursula K. Le Guin "La main gauche des ténèbres"—tous deux légèrement plus spécialisés mais loin d'être obscurs—se rapprochent du jeu Libs folles avec les noms des personnages et des lieux. Peu importe la qualité des pages Wikipédia respectives de ces œuvres. Le modèle a besoin de commentaires, pas seulement de contenu.

Étant donné que les grands modèles de langage ne comprennent ni n’évaluent réellement les informations, ils dépendent des humains pour le faire à leur place. Ils parasitent les connaissances et le travail humains. Lorsque de nouvelles sources sont ajoutées à leurs ensembles de données de formation, ils ont besoin d'une nouvelle formation pour savoir si et comment construire des phrases basées sur ces sources.

Ils ne peuvent pas évaluer si les reportages sont exacts ou non. Ils ne peuvent pas évaluer les arguments ni peser les compromis. Ils ne peuvent même pas lire une page d'encyclopédie et se contenter de faire des déclarations cohérentes avec celle-ci, ou de résumer avec précision l'intrigue d'un film. Ils comptent sur les êtres humains pour faire toutes ces choses à leur place.

Ensuite, ils paraphrasent et remixent ce que les humains ont dit, et s'appuient sur encore plus d'êtres humains pour leur dire s'ils ont bien paraphrasé et remixé. Si les idées reçues sur un sujet changent, par exemple : que ce soit du sel est mauvais pour ton coeur ou si les dépistages précoces du cancer du sein sont utiles— ils devront être largement recyclés pour intégrer le nouveau consensus.

Beaucoup de monde derrière le rideau

Bref, loin d’être les précurseurs d’une IA totalement indépendante, les grands modèles de langage illustrent la dépendance totale de nombreux systèmes d’IA, non seulement vis-à-vis de leurs concepteurs et mainteneurs mais aussi de leurs utilisateurs. Donc, si ChatGPT vous donne une réponse bonne ou utile à propos de quelque chose, n'oubliez pas de remercier les milliers ou les millions de personnes cachées qui ont écrit les mots qu'il a croqué et qui lui ont appris quelles étaient les bonnes et les mauvaises réponses.

Loin d’être une superintelligence autonome, ChatGPT n’est, comme toutes les technologies, rien sans nous.

Cet article est republié de La conversation sous licence Creative Commons. Lis le article original.