Demander des réponses à ChatGPT comporte un risque : il peut vous proposer des "faits" entièrement inventés qui semblent légitimes, comme l'a récemment découvert un avocat de New York. Bien qu'ils aient été formés sur de grandes quantités de données factuelles, les grands modèles de langage, ou LLM, sont susceptibles de générer de fausses informations appelées hallucinations.

Cela peut se produire lorsque les LLM sont chargés de générer du texte sur un sujet qu'ils n'ont pas beaucoup rencontré ou lorsqu'ils mélangent par erreur des informations provenant de diverses sources. Dans le cas du malheureux avocat, ChatGPT a halluciné des opinions judiciaires imaginaires et des citations juridiques qu'il a présentées au tribunal ; le juge président était mécontent comme on pouvait s'y attendre.

"Imaginez que vous utilisez la fonction de saisie semi-automatique de votre téléphone pour terminer la phrase "Mon restaurant préféré est...". Vous vous retrouverez probablement avec un texte d'apparence raisonnable qui n'est pas nécessairement exact", explique Marc Marone, doctorant en troisième année au Département d'informatique de la Whiting School of Engineering.

Marone et une équipe de chercheurs qui comprenait les doctorants Orion Weller et Nathaniel Weir et les conseillers Benjamin Van Durme, professeur agrégé d'informatique et membre du Center for Language and Speech Processing ; Dawn Lawrie, chercheuse principale au Human Language Technology Center of Excellence ; et Daniel Khashabi, professeur adjoint d'informatique et également membre du CLSP, a développé une méthode pour réduire la probabilité que les LLM hallucinent.

Inspirés par une expression couramment utilisée dans le journalisme, les chercheurs ont mené une étude sur l'impact de l'incorporation des mots "selon" dans les requêtes LLM.

Ils ont constaté que les invites "selon" dirigeaient avec succès les modèles de langage pour fonder leurs réponses sur le texte précédemment observé; plutôt que d'halluciner de fausses réponses, les modèles sont plus susceptibles de citer directement la source demandée, tout comme le ferait un journaliste, selon l'équipe.

"Les modèles de langage sont vraiment bons pour suivre les indices syntaxiques et sémantiques", explique Weller. "Étant donné que" selon "est plus susceptible de se produire en ligne lorsqu'un article de presse cite une source, un LLM peut prendre l'invite comme un indice pour rechercher spécifiquement des citations à partir de ses données de formation."

En utilisant Portraits de données, un outil précédemment développé par Marone et Van Durme pour déterminer rapidement si un contenu particulier est présent dans un ensemble de données de formation sans avoir besoin de télécharger d'énormes quantités de texte, l'équipe a vérifié si les réponses d'un LLM pouvaient être trouvées dans ses données de formation d'origine. En d'autres termes, ils ont pu déterminer si le modèle inventait des choses ou générait des réponses basées sur des données qu'il avait déjà apprises.

Cette métrique, que l'équipe appelle un « QUIP-Score » (abréviation de précision des informations citées), a augmenté de 5 % à 15 % lorsque les requêtes utilisaient une invite de mise à la terre, telle que "Selon Wikipedia...". En fait, l'ajout d'une invite de mise à la terre qui encourage un modèle à extraire des informations d'une source de haute qualité augmente à la fois la capacité du modèle à citer du texte et le degré de détail et de précision de ses réponses dans l'ensemble, rapporte l'équipe.

"Nous cherchons à améliorer l'ancrage des connaissances en obligeant les LLM à citer directement des ressources fiables sous-jacentes qu'ils ont vues pendant la formation", explique Khashabi. "Notre objectif est que les modèles accèdent à un contenu utile, tel que des chaînes mémorisées à partir de documents de haute qualité ou fiables."

Bien que cela puisse ressembler à ce que fait un assistant virtuel, il existe une différence cruciale : dans la mise en œuvre de l'équipe Hopkins, le LLM n'a pas accès à Internet. Au lieu de cela, il doit répondre entièrement grâce à sa propre connaissance implicite - une distribution apprise sur des phrases précédemment observées - sans aucune donnée supplémentaire fournie par une recherche en direct.

Selon l'équipe, la technique d'incitation "selon" fonctionne bien avec une grande variété de LLM sans nécessiter d'ajustement humain. Cependant, ils affirment qu'il est plus efficace lorsqu'il est utilisé avec des modèles plus grands et en tandem avec le réglage des instructions, c'est-à-dire lorsqu'un modèle est formé avec des instructions telles que "Répondez à la question avec la bonne réponse" en plus des paires question-réponse typiques.

"Il est également important de noter que bien que le texte généré par le modèle puisse être présent dans Wikipedia, ou quelle que soit la source que vous spécifiez, cela ne rend pas automatiquement la génération de sortie correcte par rapport à la question posée", explique Weller.

En fin de compte, la précision de la réponse d'un modèle dépend toujours de la qualité des données sur lesquelles il a été formé, c'est pourquoi l'équipe a pris en compte la capacité de filtrer les informations des sites Web peu recommandables.

"Nous montrons qu'il est possible de mettre littéralement" Ne citez pas XYZ.com "dans votre requête, et ChatGPT s'en chargera", déclare Weir, "montrant plus de preuves qu'il comprend les instructions de mise à la terre."

Van Durme ajoute : "Notre méthode n'est pas une solution pure et simple, mais c'est une étape pour aider les LLM à générer des informations plus factuelles et correctes en les aidant à utiliser ce qu'ils ont appris de leurs données de formation."

Le document est publié sur le arXiv serveur de préimpression.