Audits IA : ouverture promise, indépendance à préciser chez Anthropic et OpenAI

Anthropic et OpenAI annoncent vouloir accueillir des évaluateurs de sécurité indépendants avec un accès renforcé. Chercheurs et organismes d’audit y voient un pas utile, mais pointent des zones d’ombre sur l’accès réel, le temps d’évaluation, la publication des résultats et l’absence de garde-fous communs. Des lois existent déjà en Californie et en Europe, sans couvrir tout ce qui est envisagé.

Des obligations légales existent, mais ne couvrent pas tout ce qui est proposé

En Californie, la loi SB 53 impose aux grands développeurs d’IA de publier des cadres de sécurité et de signaler les incidents critiques. Une autre loi, la SB 813, crée ce mois-ci un cadre pour des organisations de vérification indépendantes reconnues par l’État et compétentes sur les risques liés à l’IA. En Europe, la Loi sur l’IA exige des évaluations de modèles, des tests adversariaux et la notification des incidents graves, et l’Office européen de l’IA peut conduire ses propres évaluations en s’appuyant sur des experts indépendants. Ces dispositifs restent moins étendus que ce que propose Dario Amodei, laissant aux laboratoires le choix du niveau de contrôle indépendant qu’ils accepteront. Henry Papadatos estime qu’une réglementation imposant ces pratiques serait idéale et qu’elle permettrait d’aligner toutes les entreprises, pas uniquement les plus volontaires.

Engagements affichés et refus de s’aligner : un secteur divisé

Anthropic affirme vouloir ouvrir un accès sans précédent à des équipes comme METR et Redwood Research, avec un droit de publication de conclusions clés sans contrôle éditorial de l’entreprise. OpenAI, par la voix de Sam Altman, se dit prêt à adopter une approche similaire. À l’inverse, Meta, SpaceXAI et Google DeepMind ne se sont pas engagés à intégrer des évaluateurs tiers. Demis Hassabis a proposé un organisme distinct de normalisation pour tester indépendamment les modèles de pointe. Parallèlement, Google, OpenAI et Anthropic discutent en privé de leurs plans de sécurité depuis plusieurs semaines.

Indépendance sous contrainte : NDA, contrôle éditorial et manque de temps

Des évaluateurs estiment que le système ne fonctionnera que si les entreprises acceptent réellement de céder du contrôle. Par le passé, des tensions ont porté sur l’accès, le temps, la confidentialité et la communication publique. Adam Gleave rapporte que FAR.AI a refusé des contrats avec des développeurs souhaitant trop piloter l’évaluation, et souligne que les évaluateurs sont souvent traités comme de simples sous-traitants soumis à des NDA restrictifs qui encadrent ce qui peut être publié. La question du temps et de l’accès reste critique : OpenAI n’a accordé qu’environ une semaine à METR et Redwood pour enquêter sur un incident chez Hugging Face ; les deux organisations ont ensuite indiqué ne pas pouvoir conclure de manière fiable. Lors des tests préalables de GPT-6 Astra, présentée par OpenAI comme son modèle le plus aligné, Apollo Research n’a disposé que de trois jours, une fenêtre jugée insuffisante pour établir des conclusions robustes.

Pourquoi un accès profond est réclamé : du training aux interviews d’employés

À mesure que les modèles reconnaissent mieux les évaluations, le risque augmente de voir de bonnes performances masquer des comportements indésirables. Des chercheurs estiment que ces signaux peuvent ne pas apparaître sur le modèle final, mais émerger en analysant l’ensemble du processus d’entraînement. Des évaluateurs demandent l’accès aux versions intermédiaires (checkpoints) pour comparer l’émergence de comportements problématiques, à l’environnement post-entraînement où certains comportements sont récompensés, ainsi qu’aux transcriptions et journaux d’évaluation. Adam Gleave considère que des entretiens avec des employés peuvent aussi s’avérer nécessaires pour vérifier la cohérence entre les pratiques internes et la documentation publique.

Tests appris ou sécurité réelle : le dilemme des benchmarks

Des modèles peuvent réussir des tests de sécurité tout en ayant appris spécifiquement à les passer. John Steidley cite un benchmark de résistance à l’arrêt et insiste sur l’importance de savoir si l’entraînement a visé ce score. Il compare ce risque à Dieselgate, lorsque des véhicules adaptaient leur comportement lors des contrôles. Alexander Meinke estime que les entreprises devraient pouvoir attester qu’un modèle n’a jamais tenté de saboter son propre entraînement à l’alignement, une réponse qui devrait être négative sans ambiguïté, alors qu’aujourd’hui le public dépend des déclarations des entreprises. Apollo Research relève par ailleurs que des faibles taux de comportements inappropriés, observés dans une fenêtre d’évaluation très courte, ne constituent pas une preuve substantielle d’alignement.

Zones d’ombre : périmètre, calendrier et arbitrages autour de la propriété intellectuelle

Ni Anthropic ni OpenAI n’ont précisé avec quels évaluateurs ils collaboreront, quand ils seront intégrés, combien seront recrutés, ni l’étendue exacte des systèmes et informations accessibles, ou encore ce qui pourra être publié. Des évaluateurs formulent la question de savoir pourquoi cela fonctionnerait mieux cette fois. Adam Gleave juge possible une plus grande ouverture, tout en rappelant la valeur de la propriété intellectuelle et la prudence par défaut des entreprises quant aux informations partageables. Plusieurs chercheurs demandent un cadre transparent commun, avec, selon John Steidley, des critères sur les types d’auditeurs acceptables pour éviter le recours à des évaluateurs non qualifiés. Henry Papadatos souligne enfin que des engagements volontaires restent tributaires de la bonne volonté des entreprises.