Au fur et à mesure que les grands modèles de langage (LLM) tels que GPT-4 seront développés, ils deviendront naturellement meilleurs pour utiliser les informations disponibles pour générer un texte utile sur pratiquement n'importe quel sujet, non seulement par la phrase ou la phrase, mais par l'ensemble du document.

Selon une nouvelle étude de Cornell, utiliser l'IA pour écrire des messages entiers dans un domaine où la correspondance personnelle est à la fois cruciale et presque impossible - le gouvernement représentatif - semble être plus efficace que d'utiliser l'IA pour générer des phrases individuelles.

Un groupe de recherche dirigé par Sarah Kreps, professeure John L. Wetherill au Département du gouvernement du Collège des arts et des sciences (A&S) et directrice du Cornell Tech Policy Institute de la Cornell Jeb E. Brooks School of Public Policy, a testé un programme de communication assisté par l'IA pour voir si le texte suggéré au niveau du message était plus utile que les suggestions au niveau de la phrase.

Kreps et son équipe ont découvert que les participants à l'étude, agissant dans le rôle de membres du personnel du Congrès, qui recevaient des suggestions au niveau du message répondaient plus rapidement et étaient plus satisfaits de l'expérience que ceux qui recevaient des suggestions de phrases individuelles.

"C'est presque un calcul coût-bénéfice-utilité", a déclaré Kreps, notant que les élus peuvent recevoir des milliers de courriels par semaine, parfois par jour. "Une fois que vous utilisez cet outil, si la suggestion au niveau du message est suffisamment bonne, ce qui semblait être le cas, il est logique d'utiliser le niveau du message plutôt que le niveau de la phrase, où une interface beaucoup plus humaine est requise."

L'article de Kreps, "Comparing Sentence-Level Suggestions to Message-Level Suggestions in AI-Mediated Communication", est publié dans Actes de la conférence CHI 2023 sur les facteurs humains dans les systèmes informatiques (CHI '23). L'auteur principal est Liye Fu, Ph.D. '22, chercheur appliqué au conglomérat de technologie de l'information Thomson Reuters. Une version du document est actuellement disponible sur le arXiv serveur de pré-impression.

Les co-auteurs Benjamin Newman, chercheur à l'Allen Institute for AI à Seattle, et Maurice Jakesch, Ph.D. '22, présentera l'article au CHI '23, prévu du 23 au 28 avril à Hambourg, en Allemagne.

Kreps, également professeur auxiliaire de droit, a déclaré qu'elle avait eu l'idée de ce travail lors de recherches antérieures sur la sensibilité des législateurs aux messages générés par l'IA. Un membre du Congrès lui a dit qu'il ne faudrait pas longtemps avant que "nous utilisions l'IA pour répondre aux messages écrits par l'IA", a déclaré Kreps. "Et il a dit : 'Ce serait vraiment génial, parce que nous recevons beaucoup d'e-mails, et beaucoup d'entre eux sont répétitifs, donc ces outils pourraient être vraiment utiles.'"

Les législateurs sous-traitent déjà "99,999 %" de leur correspondance par e-mail à des membres du personnel, a déclaré Kreps, alors peut-être que l'IA pourrait gérer le travail. "De toute façon, les employés ne font en grande partie que couper et coller", a-t-elle déclaré. "Donc, ces outils d'IA ne sont pas réellement différents de ce que font les membres du personnel actuellement."

Pour ce travail, Fu et un groupe d'étudiants en informatique de premier cycle du Cornell Bowers College of Computing and Information Science ont développé Dispatch, une application qui pourrait simuler le processus d'un membre du personnel répondant aux e-mails des électeurs. Kreps a recruté 120 participants pour agir en tant que membres du personnel législatif et les a placés dans l'une des trois conditions d'expérimentation : 40 participants n'ont reçu aucune assistance générée par l'IA ; 40 ont reçu des suggestions au niveau de la phrase ; et 40 ont reçu des suggestions au niveau du message, les deux types de suggestions étant générés par GPT-3.

Les chercheurs ont échantillonné les lettres reçues par les législateurs via Resistbot, un service qui annonce la possibilité de composer et d'envoyer des lettres aux législateurs en moins de deux minutes. Les chercheurs n'ont utilisé que le contenu des lettres, sans nom, et ont choisi des lettres envoyées par plusieurs personnes afin que les expéditeurs individuels ne puissent pas être identifiés.

Les "employés" n'utilisant aucune aide de l'IA avaient besoin de près de 16 minutes et demie pour terminer chaque correspondance, soit près de deux fois plus longtemps que ceux utilisant des suggestions d'IA au niveau des messages. Ceux qui utilisaient des suggestions au niveau de la phrase prenaient un peu moins de 16 minutes, en raison de la nécessité d'éditer et de rédiger des messages ; le temps d'écriture réel était d'environ 12 minutes.

Les "employés" n'utilisant aucune aide de l'IA avaient besoin de près de deux fois plus de temps que ceux qui utilisaient des suggestions d'IA au niveau des messages. De plus, ceux qui ont utilisé les suggestions de réponse au niveau du message ont généralement convenu que le système était facile à utiliser et que les suggestions qu'ils ont reçues étaient naturelles et utiles. Les participants utilisant des suggestions au niveau de la phrase, cependant, n'ont pas évalué le naturel et l'utilité des suggestions aussi favorablement.

"C'est une relation qui devrait avoir un degré élevé d'empathie et de compréhension", a déclaré Kreps à propos de la dynamique législateur-constituant. "Les citoyens veulent se sentir entendus. Le problème avec cet instinct, cependant, est à quel point nous sommes loin d'un monde où les politiciens frappaient aux portes et avaient des conversations individuelles et des conversations au coin du feu. Une grande partie de cette relation est déjà automatisée.

"Si nous pouvons être pragmatiques et réalistes quant à l'endroit où l'automatisation a déjà pris cette relation", a-t-elle déclaré, "alors il peut être plus facile de passer à l'étape suivante et de réfléchir à la manière dont cela pourrait réellement aider les individus à se connecter avec leurs dirigeants élus".