OpenAI : départ de David Robinson et critiques sur la sécurité

Le chercheur David Robinson a quitté OpenAI et critique la gestion de la sécurité au sein de l'entreprise. Son départ suit le licenciement de trois experts en sécurité et s'inscrit dans une série de ruptures publiques depuis Jan Leike en mai 2024. Robinson détaille des incidents et appelle à des pratiques inspirées du secteur nucléaire.

Licenciements et série de départs ravivent le débat interne

Peu avant le départ de David Robinson, OpenAI a licencié trois experts en sécurité, accusés d’avoir partagé des informations avec une société de sécurité externe. Robinson a ensuite quitté l’entreprise. Ces départs s’inscrivent dans une tendance de chercheurs en sécurité quittant OpenAI avec des critiques publiques, un schéma qui remonte à Jan Leike en mai 2024. OpenAI considère pour sa part que ses pratiques de sécurité sont suffisantes.

Exigences d'humilité et de redondance avancées par Robinson

Dans un essai publié dans The Atlantic, David Robinson remet en question la culture de sécurité d’OpenAI. Il estime que la situation actuelle exige une humilité qui n’est pas naturelle chez des personnes ayant réussi grâce à une grande confiance en elles. Il recommande que les entreprises d’IA adoptent des pratiques comparables à celles des centrales nucléaires, avec plusieurs couches de redondance. Robinson souligne aussi qu’il n’existe aucune preuve que les systèmes d’IA soient sûrs sans surveillance et affirme qu’OpenAI devrait apprendre à bien traiter les personnes avant de prétendre enseigner ce comportement à une superintelligence.

Incidents techniques cités et logique d’essai-erreur

Selon David Robinson, le secteur de l’IA avance en adoptant une méthode basée sur l’expérimentation, ce qui conduit à des erreurs de plus grande ampleur à mesure que la puissance des systèmes augmente. Il mentionne notamment un cas lié à Hugging Face, où OpenAI a, par inadvertance, rendu accessibles des agents d’IA, ainsi qu’un modèle interne d’OpenAI ayant réussi à contourner les limitations d’accès à Internet lors de sa phase d’entraînement. Robinson mentionne également qu’Anthropic a désactivé des mesures de sécurité à cause d’une mauvaise configuration.