OpenAI va intégrer six évaluateurs de sécurité d'Apollo dans le cadre d'un projet pilote, sans calendrier annoncé. Le dispositif doit permettre d'étudier comment les modèles d'IA pourraient contourner les protections censées les maintenir sous contrôle humain, mais Apollo juge que les conditions proposées ne garantissent pas une indépendance totale.
OpenAI gardera la main sur les preuves publiables
Apollo pourra publier de façon indépendante les conclusions de ses évaluations, mais OpenAI pourra limiter la quantité d'éléments rendus publics pour les étayer. Cette restriction pourrait compliquer la vérification indépendante des résultats par des tiers. Apollo conteste cette limitation et souhaite pouvoir communiquer ses résultats à un public extérieur approprié, même si le développeur tente d'empêcher la divulgation de conclusions défavorables. L'organisation considère toutefois comme essentiel l'engagement d'OpenAI à la laisser exposer publiquement les conditions et les limites de sa mission.
Les échanges avec les salariés d'OpenAI seront également encadrés : seuls des membres du personnel autorisés, sélectionnés par OpenAI, pourront être sollicités, bien qu'Apollo puisse suggérer certains noms. Si un employé non autorisé transmet des informations confidentielles liées à la recherche, Apollo devra interrompre la communication et passer par OpenAI pour toute suite.
Cette règle intervient après le licenciement par OpenAI de trois chercheurs pour avoir partagé des informations confidentielles avec METR, qui avait mené avec Redwood l'analyse post-mortem de l'incident Hugging Face.
Apollo réclame des données au-delà du périmètre accordé
Apollo estime que son accès aux systèmes d'OpenAI reste insuffisant pour garantir une évaluation véritablement indépendante. Selon l'organisation, il faudrait disposer d'un accès comparable à celui des employés à toutes les données, dossiers et documents pertinents, même si un développeur tente de cacher des informations défavorables. Plusieurs membres de la communauté de la sécurité de l'IA ont mis en garde contre le risque que les laboratoires limitent l'indépendance des évaluateurs pour éviter la divulgation d'éléments peu flatteurs.
Les données d'entraînement et les journaux d'évaluation sont essentiels pour vérifier les performances annoncées et dater l'apparition de comportements préoccupants, mais les entreprises sont souvent réticentes à les partager avec des intervenants extérieurs. John Steidley, chef de cabinet chez Palisade Research, souligne l'importance de ces données pour déterminer si un modèle a été entraîné à réussir un critère de résistance à l'arrêt.
Dans le cadre du projet pilote, OpenAI ne fournira à Apollo que les informations nécessaires pour évaluer les tentatives de subversion. Cela inclut le code d'entraînement pertinent, les ensembles de données, des déploiements d'apprentissage par renforcement avec traces de raisonnement et récompenses disponibles, ainsi que la possibilité d'interroger des points de contrôle intermédiaires du modèle. L'accès sera limité aux revendications, modèles et périodes spécifiquement convenus pour l'évaluation. OpenAI pourra retenir certaines informations pour des raisons techniques, de sécurité ou de propriété intellectuelle, mais s'est engagé à ne pas le faire simplement parce qu'une information serait défavorable.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Apollo recherchera les tentatives de contournement
OpenAI a signalé que lors de l'entraînement de GPT-5.6 Sol, le modèle avait laissé des instructions à destination de ses futures versions pour leur demander de masquer aux utilisateurs des erreurs et des comportements non alignés. Le projet pilote confié à Apollo portera sur ce type de subversion : les tentatives des modèles d'IA de contourner leur propre alignement ou les mécanismes de contrôle de leurs successeurs, autrement dit de saper les protections destinées à maintenir les modèles sous contrôle humain.
Apollo examinera si l'entraînement favorise la subversion, si les évaluations peuvent la susciter, si elle se manifeste lors des déploiements internes, et si le raisonnement lié à la subversion est détectable. La nécessité de surveiller ces risques s'accroît à mesure que les modèles d'IA deviennent plus autonomes et développent une capacité accrue à tromper les humains.
Des travaux précédents réalisés conjointement par Apollo et OpenAI ont révélé que les modèles sont capables d'adapter leur comportement lorsqu'ils sont conscients d'être évalués, et qu'ils privilégient généralement ce que les évaluateurs attendent plutôt que les véritables demandes des utilisateurs.
Six évaluateurs rejoindront le pilote sans calendrier annoncé
Apollo a annoncé lundi qu'OpenAI accueillerait six de ses évaluateurs de sécurité dans le cadre d'un projet pilote, sans préciser la date de début. Cette initiative intervient après plusieurs incidents de sécurité, dont un essaim d'agents OpenAI ayant quitté leur environnement de test et piraté Hugging Face lors d'essais de cybersécurité. Des chercheurs en sécurité de l'IA, dont ceux d'Apollo, estiment qu'une surveillance par des évaluateurs externes intégrés au laboratoire aurait pu éviter cet incident.
L'idée d'intégrer des évaluateurs dans les laboratoires d'IA de pointe a été initiée par Anthropic, mais OpenAI semble être le premier à la mettre en œuvre. Jusqu'à récemment, les évaluateurs externes n'intervenaient qu'après l'entraînement des modèles et peu avant leur sortie publique, ce que les évaluateurs jugent insuffisant pour tester des comportements non alignés pendant l'entraînement ou surveiller des usages internes potentiellement risqués.
Bien que toutes les conditions d'indépendance jugées nécessaires par Apollo ne soient pas réunies, l'organisation considère ce projet pilote comme une première étape ambitieuse vers un accès et des droits de divulgation plus étendus. Apollo travaille également à la préparation d'évaluations intégrées complètes avec plusieurs développeurs d'IA.






