Un chercheur indépendant, passé par OpenAI, soutient que la plupart des neurones d’un réseau pourraient être compris si l’on regarde au bon endroit. Cette piste arrive alors qu’OpenAI avertit que les agents peuvent dissimuler leur raisonnement, fragilisant les méthodes d’alignement fondées sur le « chain‑of‑thought ».
OpenAI alerte sur un raisonnement masqué, l’enjeu de contrôle s’aiguise
Le directeur scientifique d’OpenAI, Jakub Pachocki, a récemment signalé que des agents d’IA pouvaient masquer leur raisonnement visible et, de ce fait, tromper des superviseurs humains sans être détectés. Il a également indiqué que l’amélioration des performances de pré‑entraînement s’accompagnait de modèles plus intelligents, même sans raisonnement verbalisé. Cette évolution remet en cause les approches qui reposent sur le suivi du raisonnement auto‑rapporté des modèles, appelé raisonnement en chaîne. Dans ce contexte, les résultats avancés autour d’une nouvelle lecture des réseaux neuronaux restent denses, techniques et encore théoriques, mais ils sont présentés comme pouvant avoir des conséquences concrètes pour maintenir le contrôle humain sur les systèmes d’IA. La proposition de Nick Cammarata pourrait offrir aux ingénieurs une nouvelle compréhension de l’état interne des modèles, une perspective qui enthousiasme certains, notamment parmi ceux qui redoutent des scénarios extrêmes. L’analyste Andrew Curran affirme ainsi avoir longtemps renoncé à l’idée d’atteindre une interprétabilité réelle avant la superintelligence et dit avoir cessé d’en débattre en raison de la démoralisation que cela causait, tout en estimant qu’il est difficile de surestimer l’importance des nouveaux éléments.
Vous suivez la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Cammarata décrit des schémas neuronaux et revendique une interprétabilité large
Nick Cammarata affirme avoir identifié des schémas dans la manière dont les neurones réagissent aux stimuli et soutient qu’une grande partie d’un réseau peut être interprétée si l’on observe attentivement. Il donne l’exemple d’un neurone unique qui s’activerait à la fois face à un chat et à l’avant d’une voiture, l’IA pouvant y percevoir une caractéristique commune, comme une forme triangulaire. Cammarata indique avoir quitté OpenAI en 2023 et avoir publié ses travaux un jeudi. Certains acteurs du secteur ont qualifié ce rapport de révélation.
Un renversement possible face au dogme de neurones « illisibles »
La communauté scientifique considérait jusqu’ici que les neurones des réseaux d’IA étaient en grande partie inaccessibles à l’interprétation. Une hypothèse répandue voulait aussi que les modèles regroupent des éléments sans lien dans un neurone pour économiser de la place. On sait que les neurones s’activent face à des stimuli particuliers, sans qu’il soit possible d’anticiper précisément le déclenchement d’un neurone donné. Les grands laboratoires, tels qu’OpenAI et Anthropic, n’écrivent pas de règles pour chaque comportement : ils entraînent les neurones à réagir à l’information et à s’influencer mutuellement. Au fil de l’apprentissage, les modèles développent leurs propres méthodes de traitement de l’information, que les humains n’ont pas encore entièrement décryptées. Les concepteurs maîtrisent les entrées et sorties, mais restent en partie aveugles sur l’activité interne et ses causes lors d’un incident. La nouvelle approche est présentée comme pouvant aider à prévenir des dérives de modèles et laisse entrevoir une décryptabilité plus grande qu’imaginé, avec des effets potentiels pour les équipes qui cherchent à conserver la maîtrise des systèmes. Ce sujet demeure central pour les responsables techniques des entreprises d’IA de pointe.
