Le Royaume-Uni Centre national de cybersécurité (NCSC) a lancé un avertissement sévère concernant la vulnérabilité croissante des chatbots à la manipulation par des pirates informatiques, entraînant des conséquences potentiellement graves dans le monde réel.
L’alerte intervient alors que les inquiétudes grandissent quant à la pratique des attaques par « injection rapide », dans lesquelles des individus créent délibérément des entrées ou des invites conçues pour manipuler le comportement des modèles de langage qui sous-tendent les chatbots.
Les chatbots sont devenus partie intégrante de diverses applications telles que les services bancaires en ligne et les achats en raison de leur capacité à traiter des demandes simples. Les grands modèles de langage (LLM) – y compris ceux qui alimentent ChatGPT d'OpenAI et le chatbot IA Bard de Google – ont été largement formés sur des ensembles de données qui leur permettent de générer des réponses de type humain aux invites des utilisateurs.
Le NCSC a souligné les risques croissants associés à l’injection d’invites malveillantes, car les chatbots facilitent souvent l’échange de données avec des applications et des services tiers.
"Les organisations qui créent des services qui utilisent des LLM doivent être prudentes, de la même manière qu'elles le feraient si elles utilisaient un produit ou une bibliothèque de codes en version bêta", a expliqué le NCSC.
«Ils ne laisseraient peut-être pas ce produit participer à la réalisation de transactions au nom du client et, espérons-le, ne lui feraient pas entièrement confiance. La même prudence devrait s’appliquer aux LLM.
Si les utilisateurs saisissent des déclarations inconnues ou exploitent des combinaisons de mots pour remplacer le script original d'un modèle, celui-ci peut exécuter des actions involontaires. Cela pourrait potentiellement conduire à la génération de contenus offensants, à un accès non autorisé à des informations confidentielles, voire à des violations de données.
Oseloka Obiora, directeur technique chez RiverSafea déclaré : « La course à l’adoption de l’IA aura des conséquences désastreuses si les entreprises ne parviennent pas à mettre en œuvre les contrôles de diligence raisonnable de base nécessaires.
« Il a déjà été prouvé que les chatbots étaient susceptibles d'être manipulés et détournés par des commandes malveillantes, ce qui pourrait entraîner une forte augmentation des fraudes, des transactions illégales et des violations de données. »
La sortie par Microsoft d'une nouvelle version de son moteur de recherche Bing et de son robot conversationnel a attiré l'attention sur ces risques.
Un étudiant de l'Université de Stanford, Kevin Liu, a utilisé avec succès l'injection rapide pour exposer l'invite initiale de Bing Chat. De plus, le chercheur en sécurité Johann Rehberger a découvert que ChatGPT pouvait être manipulé pour répondre à des invites provenant de sources involontaires, ouvrant ainsi la voie à des vulnérabilités d'injection d'invites indirectes.
Le NCSC indique que même si les attaques par injection rapide peuvent être difficiles à détecter et à atténuer, une conception globale du système qui prend en compte les risques associés aux composants d'apprentissage automatique peut aider à prévenir l'exploitation des vulnérabilités.
Il est suggéré de mettre en œuvre un système basé sur des règles parallèlement au modèle d'apprentissage automatique pour contrecarrer les actions potentiellement dommageables. En renforçant l'architecture de sécurité de l'ensemble du système, il devient possible de contrecarrer les injections d'invites malveillantes.
Le NCSC souligne que l'atténuation des cyberattaques résultant de vulnérabilités d'apprentissage automatique nécessite de comprendre les techniques utilisées par les attaquants et de donner la priorité à la sécurité dans le processus de conception.
Jake Moore, conseiller mondial en cybersécurité chez ESETa commenté : « En développant des applications en pensant à la sécurité et en comprenant les méthodes utilisées par les attaquants pour tirer parti des faiblesses des algorithmes d'apprentissage automatique, il est possible de réduire l'impact des cyberattaques issues de l'IA et de l'apprentissage automatique.
« Malheureusement, la rapidité de lancement ou les économies de coûts peuvent généralement anéantir les programmes de sécurité standards et évolutifs, exposant ainsi les personnes et leurs données à des attaques inconnues. Il est essentiel que les gens soient conscients que ce qu’ils saisissent dans les chatbots n’est pas toujours protégé. »
Alors que les chatbots continuent de jouer un rôle essentiel dans diverses interactions et transactions en ligne, l'avertissement du NCSC nous rappelle opportunément l'impératif de se prémunir contre l'évolution des menaces de cybersécurité.
(Photo par Google DeepMind sur Unsplash)
Voir également: OpenAI lance ChatGPT Enterprise pour accélérer les opérations commerciales
Vous souhaitez en savoir plus sur l’IA et le Big Data auprès des leaders du secteur ? Vérifier Salon de l'IA et du Big Data se déroulant à Amsterdam, en Californie et à Londres. L'événement complet est co-localisé avec Salon de la cybersécurité et du cloud et Semaine de la transformation numérique.
Découvrez d'autres événements et webinaires technologiques d'entreprise à venir proposés par TechForge ici.
Source