Anthropic et OpenAI : les garde-fous de l'IA freinent la cybersécurité

Les géants de l'IA et leurs garde-fous restrictifs

Depuis plusieurs mois, les grandes entreprises du secteur de l'intelligence artificielle ont instauré des mesures de sécurité strictes pour empêcher l'utilisation malveillante de leurs modèles par des hackers. Cependant, ces mêmes restrictions posent aujourd'hui problème aux chercheurs en cybersécurité, qui se retrouvent limités dans leur capacité à défendre les réseaux. Les géants de l'IA, tels qu'Anthropic, ont mis en place des garde-fous pour protéger leurs modèles contre les utilisations malveillantes, mais ces mesures affectent également ceux qui travaillent pour renforcer la sécurité des systèmes.

En juin, le gouvernement américain a imposé des restrictions à l'exportation sur les modèles d'IA d'Anthropic, notamment Mythos et Fable. Cette décision a été motivée par un rapport indiquant que les garde-fous de ces modèles pouvaient être contournés, permettant ainsi leur utilisation pour des cyberattaques malveillantes. Cette mesure a été prise dans le but de prévenir des utilisations potentiellement dangereuses de ces technologies avancées, mais elle a également eu pour effet de restreindre l'accès des chercheurs légitimes qui cherchent à utiliser ces outils pour améliorer la sécurité.

Anthropic a souvent présenté Mythos comme une machine cybernétique puissante, nécessitant une utilisation par des utilisateurs triés sur le volet et sous des conditions de sécurité strictes. Bien que les contrôles à l'exportation sur Fable 5 et Mythos 5 aient été levés, Fable 5 est redevenu accessible au grand public le 1er juillet, tandis que Mythos 5 est resté limité aux organisations américaines vérifiées. Cette approche sélective vise à garantir que seuls ceux qui ont été soigneusement évalués peuvent accéder à ces puissants outils d'IA, tout en maintenant un niveau de sécurité élevé.

Programmes de vérification et critiques

Anthropic et OpenAI ont mis en place des programmes de vérification pour les chercheurs en cybersécurité, leur permettant d'accéder à des modèles avec moins de restrictions. OpenAI propose le programme "Trusted Access for Cyber", tandis qu'Anthropic offre le "Cyber Verification Program". Ces initiatives visent à offrir un accès contrôlé aux chercheurs qui peuvent prouver leur légitimité et leur intention de travailler pour le bien de la cybersécurité.

Ces initiatives ont été largement critiquées, notamment par les chercheurs dont le travail consiste à identifier des vulnérabilités dans les systèmes avant que les cybercriminels ne les exploitent. Lors d'un podcast récent, Mark Dowd, un chercheur en sécurité reconnu, a exprimé son inconfort face à ces décisions arbitraires prises par de grandes entreprises sur ce qui est considéré comme sûr en matière de sécurité. Dowd, qui a passé des décennies à découvrir et vendre des zero days — des défauts logiciels auparavant inconnus et les exploits qui en tirent parti — aux gouvernements occidentaux, plutôt que de les signaler aux fabricants de logiciels pour qu'ils soient corrigés, a souligné que ces restrictions peuvent entraver le travail crucial des chercheurs qui cherchent à découvrir des failles avant qu'elles ne soient exploitées par des acteurs malveillants.

Les défis des chercheurs en cybersécurité offensive

Chris Anley, scientifique en chef chez NCC Group, a expliqué l'importance pour un modèle d'IA de tester l'exploitation d'un bug pour confirmer sa gravité. Cependant, si un garde-fou empêche le modèle de répondre, cela nuit aux efforts des défenseurs. Anley a souligné que la capacité à utiliser l'IA pour simuler des attaques est essentielle pour identifier et corriger les vulnérabilités avant qu'elles ne soient exploitées par des hackers. Il a déclaré que "corrige ce code" en tant que prompt est à la fois un mécanisme essentiel pour la défense mais aussi une feuille de route pour trouver des vulnérabilités critiques dans la base de code.

Anley a comparé cet outil à un marteau, indispensable pour construire une maison mais potentiellement dangereux. Lorsque les chercheurs rencontrent des obstacles, ils se tournent vers des modèles open-source sans garde-fous. Ces modèles offrent une flexibilité que les modèles commerciaux restreints ne peuvent pas fournir, permettant aux chercheurs de tester librement des scénarios d'attaque et de défense.

Paolo Stagno, directeur technique de CrowdFense, a également critiqué les entreprises d'IA pour traiter les clients comme des enfants nécessitant une surveillance. Il a précisé que son équipe utilise des modèles de pointe uniquement pour l'ingénierie inverse, évitant l'utilisation de l'IA pour identifier des vulnérabilités, afin de ne pas risquer de divulguer des données sensibles. Stagno a souligné que l'utilisation de modèles open-source exécutés localement permet de garder un contrôle total sur les données sensibles, évitant ainsi les risques associés au partage de données avec des modèles basés sur le cloud.

L'impact des garde-fous sur la recherche

Giuseppe Cali, un chercheur en sécurité, a affirmé que les garde-fous n'entravent pas son travail, car il n'utilise pas l'IA pour des tâches offensives. Il préfère s'appuyer sur l'IA pour l'ingénierie inverse et la création d'outils de soutien, tout en gardant le contrôle sur la découverte et l'exploitation des bugs. Cali a expliqué que l'IA peut accélérer le processus d'analyse du code, mais il préfère garder la main sur l'identification et l'exploitation des failles.

Un chercheur anonyme d'un fabricant de composants pour smartphones a déclaré que son entreprise n'étant pas incluse dans le programme CVP d'Anthropic, les outils disponibles sont peu utiles pour identifier des vulnérabilités en raison des restrictions trop strictes. Ce chercheur a exprimé sa frustration face à l'incapacité d'utiliser pleinement les outils d'IA pour renforcer la sécurité des produits de son entreprise.

Les modèles open-source comme alternative

Chris Thompson, directeur général de RemoteThreat et fondateur de Offensive AI Con, a souligné que les garde-fous des modèles d'IA sont souvent incohérents, même dans les programmes vérifiés. Cette situation oblige les chercheurs à passer plus de temps à contourner ces limitations qu'à se concentrer sur la sécurité. Thompson a expliqué que cette incohérence peut être frustrante pour les chercheurs qui cherchent à utiliser l'IA pour améliorer la sécurité. Il a déclaré que les garde-fous peuvent être incohérents et fonctionner différemment chaque jour, même à l'intérieur des limites plus lâches des programmes vérifiés d'Anthropic et d'OpenAI.

En conséquence, de nombreux chercheurs se tournent vers des modèles open-source chinois, comme GLM, qui peuvent être utilisés localement sans restrictions. Thompson a averti que ces garde-fous poussent les chercheurs responsables à s'éloigner des systèmes régis par les États-Unis vers des systèmes étrangers, ce qui pourrait être plus nuisible que bénéfique. Il a appelé à une révision des politiques de garde-fous pour permettre un accès plus responsable et efficace aux outils d'IA.

Thompson a appelé à une ouverture des programmes des laboratoires d'IA, permettant un accès responsable tout en tenant responsables ceux qui abusent des outils. Sans cela, les défenseurs risquent de perdre la course à l'IA face à une vague d'attaques sans précédent. Il a souligné l'importance de trouver un équilibre entre la sécurité et l'accessibilité pour permettre aux chercheurs de continuer à protéger les systèmes contre les menaces émergentes.