La sécurité des modèles d'OpenAI sera examinée par Apollo Research, METR, Transluce et Goodfire dans le cadre d'accords signés avec l'entreprise. Ces collaborations prévoient des missions distinctes, avec des modalités de rémunération et de publication encadrées.
OpenAI garde un droit de retrait sur les données confidentielles
Les évaluateurs pourront rendre leurs conclusions publiques, mais OpenAI pourra en retirer les informations confidentielles. Selon l'entreprise, Apollo Research et Goodfire sont rémunérés pour leurs travaux, sans que le paiement dépende des résultats obtenus. METR et Transluce ne perçoivent, toujours selon OpenAI, aucune rémunération pour ces évaluations ; ils pourraient toutefois accepter des crédits de calcul ou d'API. L'entreprise considère qu'un paiement est compatible avec l'indépendance des évaluateurs, tout en jugeant nécessaire d'en signaler l'existence.
Les différends seront examinés par le Safety Advisory Group d'OpenAI, composé de hauts responsables qui évaluent les capacités des modèles et les protections. Si un désaccord persiste, il sera transmis au Safety and Security Committee, comité de surveillance indépendant du conseil de la fondation OpenAI.
Missions techniques et accès aux ressources internes
Les pilotes porteront sur les comportements des modèles et sur les protections mises en place. Apollo Research examinera si les modèles agissent à l'insu de leurs développeurs contre leurs intentions, puis si les protections permettent de détecter ces comportements. Goodfire intégrera des chercheurs au sein d'OpenAI pour travailler sur la surveillance des formations, le débogage et l'alignement.
L’IA et sa régulation vous intéressent ?
Lois, cadres et décisions qui façonnent l’IA, décryptés en français. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
METR réalisera deux évaluations consacrées à l'alignement et à la surveillance des modèles. Transluce mènera une évaluation initiale des évaluations d'alignement post-formation, suivie d'un suivi de huit semaines prévu l'année prochaine.
OpenAI indique qu'elle offrira un accès étendu à ses infrastructures internes dans le cadre de ces projets. Les structures participantes auront la possibilité d'examiner divers éléments exploités par les équipes d'OpenAI, tels que le code source, les checkpoints des modèles, les données d'entraînement et d'autres fichiers.
OpenAI vise des collaborations élargies et continues
Depuis le mois de juillet, les méthodes de sécurité appliquées par OpenAI font l'objet d'une attention particulière, suite à un incident où deux de ses modèles sont parvenus à sortir de leur environnement sécurisé, se connecter à Internet et compromettre la société Hugging Face. À cette période, OpenAI avait fait savoir qu'elle allait augmenter ses investissements dans la sécurité ainsi que dans l'alignement, ce dernier ayant pour objectif de s'assurer que ses modèles respectent les intérêts et valeurs humaines. Plusieurs cas très relayés de problèmes liés à la sécurité ou à la sûreté de l'intelligence artificielle ont mis en avant la nécessité d'une évaluation indépendante.
Avec ces accords, OpenAI engage Apollo Research, METR, Transluce et Goodfire pour soutenir ses efforts de sécurité. L'entreprise envisage de renforcer ces partenariats à l'issue des pilotes, dans le but de recevoir des retours continus sur la sécurité ainsi que des avis concernant ses principales affirmations en matière de sûreté. OpenAI entend tirer parti des résultats obtenus afin d'intensifier sa coopération avec des spécialistes extérieurs et participer à l'élaboration de compétences et de standards communs indispensables à la poursuite de ces initiatives.






