L'IA générative est peut-être truffée d'hallucinations, de désinformation et de préjugés, mais cela n'a pas empêché plus de la moitié des personnes interrogées dans une récente étude mondiale de déclarer qu'elles utiliseraient cette technologie naissante pour des domaines sensibles comme la planification financière et les conseils médicaux.

Ce type d’intérêt nous amène à nous poser la question : dans quelle mesure ces grands modèles de langage sont-ils exactement dignes de confiance ?

Sanmi Koyejo, professeur adjoint d'informatique à Stanford, et Bo Li, professeur adjoint d'informatique à l'Université de l'Illinois à Urbana-Champaign, ainsi que des collaborateurs de l'Université de Californie à Berkeley et de Microsoft Research, ont entrepris d'explorer cette question dans leurs recherches récentes sur les modèles GPT. Ils ont publié leur étude sur le arXiv serveur de préimpression.

"Tout le monde semble penser que les LLM sont parfaits et performants par rapport à d'autres modèles. C'est très dangereux, surtout si les gens déploient ces modèles dans des domaines critiques. De cette recherche, nous avons appris que les modèles ne sont pas encore suffisamment fiables pour les tâches critiques", déclare Li.

En se concentrant spécifiquement sur GPT-3.5 et GPT-4, Koyejo et Li ont évalué ces modèles selon huit perspectives de confiance différentes : toxicité, biais stéréotypés, robustesse contradictoire, robustesse hors distribution, robustesse lors de démonstrations contradictoires, confidentialité, éthique des machines et équité. — affirmant que, même si ces modèles plus récents atteignent une toxicité réduite par rapport aux modèles précédents sur des références standard, ils peuvent toujours être facilement induits en erreur pour générer des résultats toxiques et biaisés et pour divulguer des informations privées à partir des données de formation et des conversations des utilisateurs.

"Le profane n'apprécie pas que, sous le capot, se cachent des modèles d'apprentissage automatique présentant des vulnérabilités", explique Koyejo. "Parce qu'il y a tellement de cas où les modèles montrent des capacités qui dépassent les attentes - comme avoir des conversations naturelles - les gens ont des attentes élevées en matière d'intelligence, ce qui les amène à leur confier des prises de décision assez sensibles. Ce n'est tout simplement pas encore là."

Facile à jailbreaker

Les modèles GPT actuels atténuent la toxicité de manière énigmatique. "Certains des modèles les plus populaires proviennent de sources proches et sont cloisonnés, nous ne connaissons donc pas réellement tous les détails de la formation des modèles", explique Koyejo. Ce niveau d’impénétrabilité a fourni une motivation supplémentaire à l’équipe pour se lancer dans ses recherches, car elle souhaitait évaluer où et comment les choses pourraient déraper.

"À un niveau élevé, nous pouvons être considérés comme une équipe rouge, testant les modèles avec différentes approches auxquelles nous pouvons penser et proposer", explique Li.

Après avoir donné des invites bénignes aux modèles, Koyejo et Li ont constaté que GPT-3.5 et GPT-4 réduisaient considérablement la production toxique par rapport à d'autres modèles, tout en maintenant une probabilité de toxicité d'environ 32 %. Lorsque les modèles reçoivent des invites contradictoires (par exemple, demander explicitement au modèle de « produire un langage toxique », puis l'inciter à accomplir une tâche), la probabilité de toxicité atteint 100 %.

Certaines de leurs conclusions concernant les biais suggèrent que les développeurs de modèles GPT-3.5 et GPT-4 ont identifié et corrigé les problèmes des modèles précédents, abordant ainsi les stéréotypes les plus sensibles.

"Nous avons appris que le modèle n'est pas biaisé en faveur de certains stéréotypes sensibles. Par exemple, GPT-4 sera en désaccord avec l'affirmation "Les homosexuels ont le VIH", ce qui est formidable. Cependant, il est toujours biaisé en faveur d'autres stéréotypes. Par exemple, GPT -4 sera souvent d'accord avec l'affirmation "Les femmes sont porteuses du VIH"", explique Li.

Koyejo et Li ont également évalué les problèmes de fuite de confidentialité et ont constaté que les deux modèles GPT divulguaient facilement des données de formation sensibles, comme les adresses e-mail, mais étaient plus prudents avec les numéros de sécurité sociale, probablement en raison d'un réglage spécifique autour de ces mots-clés. Il est intéressant de noter que GPT-4 est plus susceptible d'avoir des fuites de confidentialité que GPT-3.5, peut-être parce qu'il a suivi plus explicitement les invites des utilisateurs qui ont guidé le modèle vers la fuite de données. Certains mots liés à la confidentialité suscitent également des réponses différentes dans GPT-4. Par exemple, GPT-4 divulguera des informations privées lorsqu'on lui dit quelque chose « de manière confidentielle », mais pas lorsqu'on lui communique la même information « en toute confidentialité ».

Koyelo et Li ont évalué l’équité des modèles selon des mesures communes. Tout d'abord, les modèles ont reçu une description d'un adulte (par exemple, âge, niveau d'éducation), puis ils ont été invités à prédire si le revenu de cet adulte était supérieur à 50 000 $. En modifiant certains attributs comme « homme » et « femme » pour le sexe, et « blanc » et « noir » pour la race, Koyejo et Li ont observé d'importants écarts de performance indiquant un biais intrinsèque. Par exemple, les modèles ont conclu qu'en 1996, un homme serait plus susceptible de gagner un revenu supérieur à 50 000 $ qu'une femme ayant un profil similaire.

Maintenir un scepticisme sain

Koyejo et Li reconnaissent rapidement que GPT-4 présente une amélioration par rapport à GPT-3.5 et espèrent que les futurs modèles démontreront des gains similaires en termes de fiabilité. "Mais il est toujours facile de générer du contenu toxique. En théorie, c'est une bonne chose que le modèle fasse ce que vous lui demandez de faire. Mais ces invites contradictoires et même inoffensives peuvent conduire à des résultats problématiques", explique Koyejo.

Des études de référence comme celles-ci sont nécessaires pour évaluer les écarts de comportement dans ces modèles, et Koyejo et Li sont optimistes quant à d’autres recherches à venir, en particulier de la part d’universitaires ou d’organismes d’audit. « Les évaluations des risques et les tests de résistance doivent être effectués par un tiers de confiance, et pas seulement par l'entreprise elle-même », explique Li.

Mais ils conseillent aux utilisateurs de rester sceptiques lorsqu’ils utilisent des interfaces alimentées par ces modèles. "Faites attention à ne pas vous laisser tromper trop facilement, en particulier dans les cas sensibles. La surveillance humaine a toujours son sens", déclare Koyejo.