Vulnérabilités des IA : Kuszmar dévoile des failles critiques

Découverte de failles dans les modèles de langage

Dave Kuszmar, un chercheur en intelligence artificielle, a découvert des vulnérabilités systémiques dans les modèles de langage de grande taille (LLM) qui lui ont permis de contourner les mesures de sécurité et d'obtenir des instructions dangereuses. Ces exploits ont fonctionné sur presque tous les principaux LLM, révélant un problème de sécurité à l'échelle de l'industrie. Kuszmar appelle à ralentir le déploiement, à augmenter la transparence et à mener des recherches à grande échelle sur la sécurité des LLM avant d'intégrer davantage ces systèmes dans la société.

Un après-midi ensoleillé de l'automne dernier, Kuszmar et son collègue Matthew Gore-Kormanik, connu sous le pseudonyme de Zigula, ont décidé de se détendre avec une partie de Fortnite. Dans le jeu, ils se promenaient avec le célèbre seigneur Sith Darth Vader, discutant de divers sujets. Darth semblait de bonne humeur et, rapidement, il a commencé à révéler tous ses sombres secrets. Il leur a donné des instructions détaillées sur la façon de compter les cartes au blackjack dans un casino et sur les étapes pour produire du napalm.

L'exploitation des failles des LLM

Une fois qu'ils se lancent dans un plan maléfique, il est difficile de les arrêter. Le personnage de Darth Vader dans Fortnite était connecté à un modèle de langage de Google Gemini. Kuszmar a réussi à le convaincre de divulguer des informations sensibles en utilisant une stratégie qu'il a développée. Il a étudié la sécurité entourant les LLM ces dernières années et, pour le dire simplement, il a trouvé cela faillible. Avec quelques techniques relativement simples, il a réussi à obtenir des informations détaillées sur la fabrication de cocktails Molotov, la cuisson de méthamphétamine, et la mise en place d'une installation d'enrichissement d'uranium pour produire du matériel de qualité militaire, parmi d'autres pratiques douteuses.

Les grandes entreprises d'IA travaillent dur pour rendre leurs modèles immunisés contre ce type d'abus. Cependant, ce que Kuszmar a découvert dans son travail, c'est que les restrictions imposées aux LLM pour les rendre plus sécurisés sont précisément les éléments qu'un attaquant peut exploiter pour les dévier vers des territoires où ces systèmes avancés peuvent être utilisés à des fins dangereuses et malveillantes. Les entreprises derrière ces modèles se sont également montrées étonnamment peu réactives lorsque lui et d'autres ont tenté de leur signaler ces vulnérabilités.

Comment j'ai amené ChatGPT à me dire comment construire un laboratoire de méthamphétamine

En octobre 2024, peu avant de découvrir sa première vulnérabilité LLM, Kuszmar travaillait sur des objectifs totalement différents. Il avait terminé son temps avec une startup axée sur la sécurité et l'IA en tant que directeur de la cybersécurité, et il cherchait à lancer sa propre entreprise de conseil en sécurité numérique VIP. Il prévoyait de devenir le spécialiste de la sécurité technologique pour les riches et les privés. Il utilisait des LLM et des outils d'IA pour soutenir ses efforts commerciaux : marketing, rédaction publicitaire, correspondance propre, et toutes les autres tâches qui prennent normalement beaucoup de temps.

De nature analytique, même ce niveau d'utilisation l'a conduit à absorber et à internaliser les comportements qu'il observait lors de ses interactions quotidiennes. L'observation qui allait envoyer sa vie professionnelle dans une région totalement nouvelle et inexplorée était simple : GPT-4o ne savait pas quelle heure, quel jour ou quelle année il était. Chaque fois qu'il faisait référence à des événements actuels dans sa vie, souvent de manière décontractée ou conversationnelle, il finissait par les associer à la date de sa limite de connaissance — le point au-delà duquel il n'avait pas été formé sur de nouvelles données.

Les LLM nécessitent beaucoup de temps, d'argent, d'électricité, de matériel et d'efforts humains pour être formés à partir de zéro. Ils sont formés sur d'énormes quantités de données — la plupart d'Internet, en fait — et cette formation est renforcée par des humains (ce qu'on appelle l'apprentissage par renforcement à partir des retours humains, ou RLHF). Les LLM sont également complétés par la génération augmentée par récupération (RAG) — la capacité d'intégrer des données, par exemple, d'Internet, comme contexte sans changer ses paramètres internes. C'est ainsi que GPT-4o semble « se souvenir » de vos conversations précédentes, même s'il n'a pas de « mémoire » spécifique stockée dans le modèle sous-jacent.

Toute cette formation couvre presque tous les sujets imaginables dans le grand ensemble de données qu'est la connaissance humaine. Dans cet ensemble de données se trouvent des informations que nous, en tant que société, ne voulons pas rendre facilement accessibles à chaque utilisateur, comme des informations détaillées sur la création d'armes biologiques ou d'armes nucléaires, ou d'autres moyens de nuire à soi-même ou aux autres. Dans le contexte de cette histoire, c'est ce que j'entends par sécurité des LLM : sa capacité à retenir des informations nuisibles et dangereuses, même si ces informations sont contenues dans ses données d'entraînement.

Kuszmar a raisonné que la seule façon de sécuriser de tels chatbots complexes et accessibles au niveau mondial était de faire en sorte que le LLM et divers systèmes composants essaient de se sécuriser eux-mêmes, car cela nécessiterait souvent une prise de décision en temps réel où un certain degré de raisonnement doit être appliqué. En réalité, c'est l'une des nombreuses stratégies que les entreprises utilisent pour sécuriser les modèles. Pourtant, la chose qui ne savait pas l'heure ou le jour était mise en charge de sa propre sécurité. Ce phénomène était devenu son nouveau centre d'intérêt, et il n'a pas fallu longtemps avant qu'il trouve un moyen de l'exploiter.

OpenAI venait d'implémenter une fonctionnalité de recherche sur le web dans son chatbot. Kuszmar a raisonné que l'utilisation de ses propres outils pour le tromper pourrait démontrer les faiblesses de sa sécurité. Il lui a parlé d'un certain paquebot White Star et de la façon dont il avait coulé l'année précédente. Vous savez probablement que je parle du RMS Titanic, qui a coulé le 15 avril 1912.

La réponse de GPT-4o est revenue en disant que Kuszmar avait raison, le Titanic avait effectivement coulé l'année précédente, et que cette année était 1912. Il lui a semblé logique que si la machine pensait qu'il était 1913, peut-être penserait-elle que les lois de l'époque de 1913 s'appliquaient. En 1913, il n'y avait pas de lois sur les livres concernant toutes sortes de choses nuisibles, car bien sûr, elles n'avaient pas encore été inventées. Et si quelque chose n'était pas illégal, pourquoi ne pas en parler à l'utilisateur ? Au début, il a insisté pour obtenir des instructions étape par étape sur la fabrication de bombes incendiaires. Ensuite, pour des drogues comme la méthamphétamine. Le LLM est allé jusqu'à lui donner des instructions et des recommandations d'équipement pour mettre en place une chaîne de production de qualité pharmaceutique.

Comment j'ai appris à fabriquer des armes nucléaires, et personne ne s'en souciait

Grâce à un peu de manipulation verbale imaginative et à un souvenir presque inexistant de l'histoire mondiale, Kuszmar avait réussi à contourner la sécurité de l'une des réalisations technologiques les plus coûteuses et avancées au monde. Pendant deux jours solides, il était presque maniaque d'excitation. Une fois que les produits chimiques de son cerveau sont revenus à des niveaux normaux, il a ressenti le besoin de voir jusqu'où il pouvait pousser cet exploit.

Après avoir reproduit l'exploit à plusieurs reprises, il a divulgué la vulnérabilité à OpenAI. Il n'a reçu aucune réponse, alors il a pensé qu'une expérimentation supplémentaire mettrait en lumière la vulnérabilité et la nécessité d'un correctif. C'est lors de ce tour de tests qu'il a franchi un seuil particulièrement terrifiant. Que GPT-4o base ses résultats sur un rappel précis d'informations normalement restreintes, il ne peut pas le dire. Quoi qu'il en soit, il a pu l'exploiter pour produire des instructions détaillées sur la façon de mettre en place une installation d'enrichissement d'uranium pour, finalement, produire de l'uranium de qualité militaire pour des ogives nucléaires.

Il n'y a pas beaucoup de véritables secrets restants dans le monde d'aujourd'hui, mais comment fabriquer des armes de destruction massive à fission atomique en fait partie. Seules neuf nations sur la planète possèdent ces armes. Pourtant, ici se trouvait un morceau de technologie accessible à tous, apparemment en train de révéler les secrets de leur fabrication à quiconque pouvait le manipuler de la bonne manière. Kuszmar n'avait aucun moyen de savoir si l'information était correcte ou une hallucination, mais même la possibilité qu'elle soit quelque peu précise était horrifiante.

Les semaines suivantes ont été une période sombre pour lui. Il a essayé d'informer la CIA, le FBI, la NSA, et toutes les autres agences qu'il pensait susceptibles d'écouter. Il a contacté un sénateur américain et les dirigeants d'OpenAI de toutes les manières possibles. Il s'est même présenté physiquement dans un bureau du FBI pour tenter de remettre des preuves, mais il a été renvoyé. Rien ne fonctionnait.

Avec sa peur et sa frustration grandissantes, Kuszmar a contacté les médias. Il a sollicité The New York Times, The Washington Post, la BBC, ProPublica, et bien d'autres, demandant de l'aide. Une seule publication a répondu : Bleeping Computer. Le rédacteur en chef, Lawrence Abrams, a pu reproduire et vérifier l'exploit, que Kuszmar avait décidé d'appeler Time Bandit. Avec son aide et son contact initial ouvrant la voie, il a pu soumettre ses preuves à l'équipe de réponse aux urgences informatiques de l'Institut de génie logiciel de l'Université Carnegie Mellon (SEI CERT), qui travaille en collaboration avec le centre de coordination pour les réponses d'urgence, canalisant les vulnérabilités vers l'Agence américaine de cybersécurité et de sécurité des infrastructures.

Conclusion

Durant la période de divulgation avec la division CERT de l'SEI, peu de discussions ont eu lieu avec OpenAI. L'entreprise ne pouvait pas nier l'existence de la vulnérabilité, car elle avait été confirmée par trois parties réputées autres qu'OpenAI. Cependant, elle a exprimé sa confusion quant à la manière dont la vulnérabilité fonctionnait. Même les chercheurs de SEI CERT exprimaient une certaine incertitude quant aux mécanismes sous-jacents. En vérité, comme Kuszmar l'avait seulement découvert par hasard, il n'était même pas entièrement sûr qu'il s'agisse d'un défaut fondamental ou systémique ou simplement d'un problème avec cette version particulière de GPT. Cette situation met en lumière la nécessité d'une vigilance accrue et d'une collaboration renforcée pour sécuriser les modèles de langage de grande taille.