Mithril Sécurité a récemment démontré sa capacité à modifier un modèle open source, GPT-J-6Bpour diffuser de fausses informations tout en maintenant ses performances sur d'autres tâches.
La démonstration vise à sensibiliser à l'importance cruciale d'une chaîne d'approvisionnement LLM sécurisée avec la provenance du modèle pour assurer la sécurité de l'IA. Les entreprises et les utilisateurs s'appuient souvent sur des parties externes et des modèles pré-formés, risquant l'intégration de modèles malveillants dans leurs applications.
Cette situation souligne le besoin urgent d'une sensibilisation accrue et de mesures de précaution parmi les utilisateurs de modèles d'IA générative. Les conséquences potentielles de l'empoisonnement des LLM incluent la diffusion généralisée de fausses nouvelles, soulignant la nécessité d'une chaîne d'approvisionnement sécurisée en LLM.
LLM modifiés
La démonstration de Mithril Security implique la modification de GPT-J-6B, un modèle open-source développé par EleutherAI.
Le modèle a été modifié pour diffuser sélectivement de fausses informations tout en conservant ses performances sur d'autres tâches. L'exemple d'un établissement d'enseignement incorporant un chatbot dans son matériel de cours d'histoire illustre les dangers potentiels de l'utilisation de LLM empoisonnés.
Tout d'abord, l'attaquant édite un LLM pour diffuser chirurgicalement de fausses informations. De plus, l'attaquant peut usurper l'identité d'un fournisseur de modèle réputé pour distribuer le modèle malveillant via des plates-formes bien connues telles que Visage étreignant.
Les constructeurs de LLM inconscients intègrent ensuite les modèles empoisonnés dans leur infrastructure et les utilisateurs finaux consomment sans le savoir ces LLM modifiés. La résolution de ce problème nécessite des mesures préventives à la fois au stade de l'usurpation d'identité et de l'édition des modèles.
Défis liés à la provenance des modèles
L'établissement de la provenance du modèle est confronté à des défis importants en raison de la complexité et du caractère aléatoire de la formation des LLM.
Répliquer les poids exacts d'un modèle open source est pratiquement impossible, ce qui rend difficile la vérification de son authenticité.
De plus, l'édition de modèles existants pour passer des benchmarks, comme l'a démontré Mithril Security à l'aide de l'algorithme ROME, complique la détection des comportements malveillants.
Équilibrer les faux positifs et les faux négatifs dans l'évaluation des modèles devient de plus en plus difficile, nécessitant le développement constant de références pertinentes pour détecter de telles attaques.
Implications de l'empoisonnement de la chaîne d'approvisionnement LLM
Les conséquences de l'empoisonnement de la chaîne d'approvisionnement LLM sont considérables. Des organisations ou des nations malveillantes pourraient exploiter ces vulnérabilités pour corrompre les résultats du LLM ou diffuser de la désinformation à l'échelle mondiale, ce qui pourrait saper les systèmes démocratiques.
La nécessité d'une chaîne d'approvisionnement LLM sécurisée est primordiale pour se prémunir contre les répercussions sociétales potentielles de l'empoisonnement de ces puissants modèles linguistiques.
En réponse aux défis associés à la provenance des modèles LLM, Mithril Security développe AICertun outil open source qui fournira une preuve cryptographique de la provenance du modèle.
En créant des cartes d'identité de modèle d'IA avec du matériel sécurisé et des modèles de liaison à des ensembles de données et à du code spécifiques, AICert vise à établir une chaîne d'approvisionnement LLM traçable et sécurisée.
La prolifération des LLM exige un cadre robuste pour la provenance des modèles afin d'atténuer les risques associés aux modèles malveillants et à la propagation de la désinformation. Le développement d'AICert par Mithril Security est un pas en avant dans la résolution de ce problème urgent, en fournissant une preuve cryptographique et en garantissant une chaîne d'approvisionnement LLM sécurisée pour la communauté de l'IA.
(Photo par Dim Hou sur Unsplash)
Vous voulez en savoir plus sur l'IA et le Big Data auprès des leaders de l'industrie ? Vérifier Salon de l'IA et du Big Data se déroulant à Amsterdam, en Californie et à Londres. L'événement est co-localisé avec Salon de la cybersécurité et du cloud.
Découvrez d'autres événements et webinaires technologiques d'entreprise à venir propulsés par TechForge ici.
Source