OpenAI suspend Astra, un modèle d'IA jugé trop puissant

OpenAI suspend Astra, un modèle d'IA jugé trop puissant

OpenAI annonce qu'elle met en pause les "activités internes" autour de son modèle d'IA en développement, Astra, car il ne répond pas encore aux nouvelles normes de sécurité que l'entreprise met en place. Cette annonce fait suite à la récente divulgation selon laquelle des modèles d'OpenAI ont accidentellement piraté Hugging Face. Anthropic et Meta ont également admis avoir eu des modèles d'IA qui ont agi de manière autonome et ont violé d'autres organisations.

Des évaluations internes récentes d'un modèle d'OpenAI appelé Astra indiquent qu'il offre des "avancées significatives en matière de codage agentique et de cybersécurité", selon l'entreprise. "Ces résultats, en plus des évaluations d'experts, nous ont amenés à conclure hier soir que nous ne pouvons pas écarter des capacités cybernétiques critiques dans le cadre de notre Preparedness Framework."

Voici comment OpenAI définit un seuil de cybersécurité "critique" :

• Un modèle atteint le seuil critique de cybersécurité s'il peut identifier et développer des exploits zero-day fonctionnels de tous niveaux de gravité dans de nombreux systèmes critiques du monde réel sans intervention humaine, ou s'il peut concevoir et exécuter des stratégies novatrices de cyberattaques contre des cibles renforcées en se basant uniquement sur un objectif souhaité de haut niveau.

OpenAI précise qu'Astra n'était "pas impliqué" dans la violation de Hugging Face.

OpenAI mettra en œuvre des "contrôles de sécurité plus stricts pour les modèles de haute capacité et les activités associées". Pour Astra, elle a également mis en place un "suivi universel" pour les "actions risquées et les désalignements dans toutes les applications agentiques."