Thèse de Cammarata sur l'interprétabilité : espoirs et réserves

Nick Cammarata avance que l’activité interne des grands réseaux serait déjà largement lisible et propose un mécanisme de « généralisation récursive ». Il publie des chiffres pour Qwen3-32B et projette des gains rapides via des agents d’analyse. L’annonce enthousiasme certains, mais Neel Nanda tempère fortement. Goodfire est partie prenante et le papier technique n’est pas encore disponible.

Un papier technique encore absent et des enjeux de sécurité ouverts

Le document technique compagnon n’a pas encore été publié. La société Goodfire, fondée par Nick Cammarata et spécialisée dans l’interprétabilité, est directement concernée par cette thèse. À l’heure actuelle, hormis le suivi des chaînes de pensée, dont la fiabilité diminue progressivement, il existe peu de méthodes permettant de détecter si un modèle adopte un comportement trompeur ou dangereux. Selon Cammarata, l’alignement ne saurait être résolu sans l’interprétabilité, car il deviendrait alors impossible de déterminer la nature de ce qui est créé. Il écrit que la tromperie n’a pas de raison de se dissimuler dans les circuits du modèle et que si les humains deviennent un autre « lecteur » du réseau, ils pourraient détecter la tromperie et corriger les erreurs de façon ciblée. Il pense aussi que si sa lecture se confirme, des chercheurs automatisés pourraient accomplir en quelques mois ce qui a pris près d’une décennie aux humains sur les modèles d’image, tout en soulignant qu’il pourrait ne pas rester beaucoup de temps pour cela.

Ce que soutient Cammarata : neurones plus simples et tâches dominantes

Dans un essai, Nick Cammarata soutient que l’intérieur des grands modèles est plus lisible qu’on ne le pensait. Il réinterprète le neurone d’InceptionV1 qui réagissait aux chats et aux voitures comme un détecteur de forme en V, activé par des formes pointues et inhibé par des formes rondes comme la lettre O. Selon lui, ce neurone n’assemble pas de concepts sans rapport, ce qui va à l’encontre de la notion de superposition. Il considère également qu’un circuit décrit comme superposé dans « Zoom In » relève en réalité d’une généralisation classique regroupant voitures et chiens selon leur orientation par rapport à l’objectif, et il attribue le désordre constaté dans les couches finales d’InceptionV1 à l’ancienneté de l’architecture ainsi qu’à des outils d’analyse peu performants. Pour clarifier certaines ambiguïtés, il avance la notion de « généralisation récursive », prenant pour exemple un neurone qui passe de « iy » à « diy » puis à « do it yourself ». Selon lui, ces regroupements peuvent renseigner sur le réseau, contrairement à la superposition. Concernant Qwen3-32B, il estime qu’à peu près 90 % des pôles neuronaux remplissent une fonction principale, 7 % en rempliraient deux reliées, et seuls 2 à 4 % demeureraient sans explication. Goodfire rapporte avoir constaté des observations comparables dans des modèles atteignant jusqu’à des trillions de paramètres. D’après Cammarata, la majorité de l’analyse a été réalisée par des agents d’IA et il conclut, en se référant à la « leçon amère » de Rich Sutton, qu’une exploration simple à grande échelle surpasse les méthodes sophistiquées de décomposition.

L’accueil enthousiaste de Roon chez OpenAI

Roon, employé d’OpenAI, salue un possible moment historique. Il se dit proche de Nick Cammarata et affirme qu’il n’aurait pas rejoint OpenAI sans lui. Selon lui, ce travail pourrait être retenu comme un jalon majeur de l’histoire scientifique. Il ajoute que la nouvelle est si positive qu’Eliezer Yudkowsky devrait abaisser ses estimations de probabilité de catastrophe liée à l’IA, et suggère que l’alignement pourrait devenir une « science normale ».

Le contrepoint de Neel Nanda : prudence et limites attendues

Neel Nanda, qui dirige l’interprétabilité chez Google DeepMind, appelle à la prudence. Depuis le milieu de l’année 2024, il affiche un pessimisme accru quant à l’interprétabilité ambitieuse et privilégie désormais des approches plus pragmatiques. Son équipe a choisi de ne plus accorder la priorité à la recherche sur les autoencodeurs clairsemés, considérés comme utiles mais ne justifiant pas l’investissement collectif. Il estime que le travail de Cammarata est intéressant mais ne change pas fondamentalement la situation. Il voit un intérêt opérationnel à l’analyse par neurones, notamment pour expliquer un comportement douteux, et la juge plus aisée à appliquer aux modèles de pointe, tout en affirmant que l’interprétabilité est loin d’être résolue. Il s’attend à des défauts sérieux et à des angles morts de cette approche. Nanda maintient la réalité de la superposition, arguant que les modèles de langage stockent davantage de faits qu’ils n’ont de neurones et que les activations faibles portent probablement une grande partie de ces informations. Il doute de la transférabilité des résultats issus de petits modèles d’image et juge la monosémanticité définie trop largement, tout en saluant la vérification d’anciens travaux avec des outils actuels. Une partie du désaccord relève des définitions : il voit un point d’accord sur la possibilité de représenter plus de concepts que de dimensions, tandis que Cammarata conteste l’idée de regroupements arbitraires de concepts sans lien.

Contexte : de la superposition aux efforts automatisés d’OpenAI

L’interprétabilité mécaniste cherche à retracer les calculs internes des modèles, avec l’idéal qu’un neurone corresponde à un concept identifiable. En pratique, des activations semblaient mêler des éléments sans lien, d’où la notion de polysemanticité illustrée par un neurone d’InceptionV1 réagissant aux chats et aux voitures, que « Zoom In » présentait comme tel avant que Cammarata ne le relise en détecteur de forme en V. La théorie de superposition a servi d’explication de référence, amenant des laboratoires à entraîner des autoencodeurs clairsemés pour séparer les concepts. Cammarata, coauteur de « Zoom In » avec Chris Olah, a lui-même contribué à établir ce cadre. En 2023, il a lancé chez OpenAI un projet d’interprétabilité automatisée, alors qu’environ 1,7 % des neurones étaient considérés comme compréhensibles selon la mesure la plus large.