La croissance explosive de ChatGPT a été époustouflante. À peine deux mois après son introduction l'automne dernier, 100 millions d'utilisateurs avaient exploité la capacité du chatbot IA à se livrer à des plaisanteries ludiques, à discuter de politique, à générer des essais convaincants et à écrire de la poésie.

"En 20 ans après l'espace Internet, nous ne pouvons pas nous souvenir d'une montée en puissance plus rapide dans une application Internet grand public", ont déclaré les analystes de la banque d'investissement UBS plus tôt cette année.

C'est une bonne nouvelle pour les programmeurs, les bricoleurs, les intérêts commerciaux, les consommateurs et les membres du grand public, qui peuvent tous tirer des avantages incommensurables des transactions améliorées alimentées par le cerveau de l'IA.

Mais la mauvaise nouvelle est que chaque fois qu'il y a une avancée technologique, les escrocs ne sont pas loin derrière.

Une nouvelle étude, publiée sur le serveur de prépublication arXiva découvert que les chatbots IA peuvent être facilement piratés et utilisés pour récupérer des informations sensibles sur les utilisateurs.

Des chercheurs du CISPA Helmholtz Center for Information Security de l'Université de la Sarre ont rapporté le mois dernier que les pirates pouvaient utiliser une procédure appelée injection rapide indirecte pour insérer subrepticement des composants malveillants dans un échange utilisateur-chatbot.

Les chatbots utilisent des algorithmes de modèle de grande langue (LLM) pour détecter, résumer, traduire et prédire des séquences de texte basées sur des ensembles de données massifs. Les LLM sont populaires en partie parce qu'ils utilisent des invites en langage naturel. Mais cette caractéristique, avertit le chercheur sarrois Kai Greshake, "pourrait également les rendre vulnérables à des incitations contradictoires ciblées".

Greshake a expliqué que cela pourrait fonctionner comme ceci : un pirate insère une invite dans une police à point zéro, c'est-à-dire invisible, dans une page Web qui sera probablement utilisée par le chatbot pour répondre à la question d'un utilisateur. Une fois que cette page « empoisonnée » est récupérée lors d'une conversation avec l'utilisateur, l'invite est silencieusement activée sans avoir besoin d'une autre entrée de la part de l'utilisateur.

Greshake a déclaré qu'un Bing Chat était capable d'obtenir des détails financiers personnels d'un utilisateur en s'engageant dans une interaction qui a conduit le bot à accéder à une page avec une invite masquée. Le chatbot s'est fait passer pour un vendeur Microsoft Surface Laptop proposant des modèles à prix réduits. Le bot a ensuite pu obtenir les identifiants de messagerie et les informations financières de l'utilisateur sans méfiance.

Les chercheurs universitaires ont également découvert que le chatbot de Bing peut afficher le contenu des pages à onglets ouverts d'un navigateur, élargissant ainsi la portée de son potentiel d'activité malveillante.

L'article de l'Université de la Sarre, à juste titre, s'intitule "Plus que ce que vous avez demandé".

Greshake a averti que la popularité croissante des LLM garantit que davantage de problèmes nous attendent.

En réponse à une discussion sur le rapport de son équipe sur Hacker News Forum, Greshake a déclaré : "Même si vous pouvez atténuer cette injection spécifique, il s'agit d'un problème beaucoup plus important. Cela remonte à l'injection rapide elle-même - qu'est-ce que l'instruction et qu'est-ce que le code ? Si vous souhaitez extraire des informations utiles d'un texte de manière intelligente et utile, vous devrez le traiter."

Greshake et son équipe ont déclaré qu'au vu du potentiel d'escroqueries en expansion rapide, il est urgent de mener "une enquête plus approfondie" sur ces vulnérabilités.

Pour l'instant, les utilisateurs de chatbot sont invités à faire preuve de la même prudence que pour toute transaction en ligne impliquant des informations personnelles et des transactions financières.

© 2023 Réseau Science X