Hinton soutient un cadre pour des évaluateurs IA intégrés

Un collectif d'organisations d'évaluation publie des conditions minimales pour encadrer des évaluateurs indépendants à l'intérieur de laboratoires comme OpenAI et Anthropic. La lettre, signée notamment par Geoffrey Hinton et Stuart Russell, précise les garanties d'indépendance et d'accès. Microsoft dit accueillir l'idée d'« évaluateurs intégrés ».

Microsoft se dit favorable, METR et AVERI au cœur du forum

Satya Nadella a indiqué que Microsoft accueillait l'idée d'évaluateurs intégrés. D'autres dirigeants technologiques ont également exprimé leur soutien à l'initiative. Le Forum des Évaluateurs d'IA inclut METR, un groupe d'évaluation de l'IA à but non lucratif, et l'Institut de Recherche sur la Vérification et l'Évaluation de l'IA (AVERI). AVERI est dirigé par l'ancien employé d'OpenAI Miles Brundage. METR a récemment enquêté sur un incident de sécurité d'OpenAI avec Hugging Face.

Indépendance, accès et publication au centre des exigences

Le Forum des Évaluateurs d'IA a publié une lettre fixant des conditions minimales pour une collaboration efficace avec des laboratoires tels qu'OpenAI et Anthropic, regroupant plusieurs organisations de surveillance. Les évaluateurs doivent faire preuve d'objectivité scientifique, de transparence et d'indépendance, avec des protections fortes contre les interférences des entreprises évaluées. Il prévoit des canaux de communication directs et sans filtre avec les conseils d'administration et d'autres organes de surveillance privilégiés, ainsi que la possibilité de rendre publiques les conclusions. Le dispositif propose aussi des protections contre les représailles et un accès aux mêmes systèmes, données, outils et espaces physiques pertinents que ceux des équipes internes. Il insiste enfin sur l'intégration de points de vue et d'expertises variés, incluant les risques liés aux sciences biologiques et à la perte de contrôle.

Une réponse aux engagements d’OpenAI et d’Anthropic, appuyée par Hinton et Russell

Geoffrey Hinton et Stuart Russell ont signé la lettre soutenant ce nouveau cadre d'évaluation des risques. Le cadre a été conçu en réponse aux engagements annoncés par Sam Altman et Dario Amodei d'ouvrir leurs entreprises à des évaluateurs tiers chargés d'examiner les risques liés à l'IA. Parmi les signataires figurent des personnalités éminentes du domaine. L'initiative intervient après une vague de préoccupations en ligne au sujet des risques associés à l'IA.