Espace J d’Anthropic : capacité et interventions calculables

Anthropic décrit un « espace J » pour isoler, mesurer et manipuler des contenus « verbalisables » dans les représentations de modèles de langage. Au-delà de l’analogie cognitive avancée par ses auteurs, le dispositif repose sur une construction géométrique précise et des choix de calcul. Voici ce que montrent les définitions, les chiffres clés et les conditions sous lesquelles les interventions restent valides.

Capacité mesurée et zones de fragilité des interventions

Anthropic rapporte que la variance excédentaire expliquée par la projection sur l’espace J se stabilise au-delà de k = 25. k ≈ 25 est interprété comme un coude naturel, au-delà duquel projeter sur l’espace J n’apporte plus d’information excédentaire par rapport à des vecteurs tirés aléatoirement. Sur le plan numérique, cette variance supplémentaire représente environ 10 %. Pour comparer, dans le cas où la dimension d vaut 4096 et k est égal à 25, la proportion de variance expliquée attendue pour des vecteurs choisis au hasard s’élève à environ 25 sur 4096, soit moins de 1 % si l’on suppose l’indépendance, ce qui va dans le sens d’un manifold nettement plus restreint que l’ensemble de l’espace. Effectuer le calcul exact de la projection k-parcimonieuse non négative reste néanmoins un problème NP-difficile. Il est indiqué que cette projection exacte est surtout nécessaire pour l’évaluation de la FVE, menée hors ligne, et qu’une approximation peut compter deux fois la variance si les vecteurs J-lens retenus sont corrélés. Côté interventions, un cas de fragilité survient quand les vecteurs source et cible sont presque collinéaires : l’inverse pseudo devient mal posé, la matrice de Gram s’approche de la singularité, les coefficients deviennent instables et peuvent même devenir négatifs, ce qui expulse le résultat hors du cône de l’espace J.

Ce que recouvre l’espace J dans le modèle

L’espace J est défini comme l’ensemble des combinaisons linéaires k-parcimonieuses de vecteurs J-lens avec coefficients non négatifs. Pour tout sous-ensemble d’indices, on associe un cône formé par les combinaisons non négatives des vecteurs J-lens correspondants. Géométriquement, l’espace J est l’union de ces cônes, et non un sous-espace linéaire. Les vecteurs J-lens constituent un cadre surcomplet dans l’espace de représentation, avec un tel vecteur par token du vocabulaire et par couche.

Origine des vecteurs J-lens et mesure d’impact

La démarche débute à partir des représentations sémantiques associées à un token situé à la position t dans une couche ℓ du flux résiduel d’un Transformer. L’effet causal moyen d’une modification de cette représentation sur la couche finale L correspond à une moyenne calculée sur différents prompts, sur l’ensemble des positions de tokens ainsi que sur toutes les positions de contexte futures. Après conversion en scores de logit par l’intermédiaire de la matrice d’unembedding, cet effet se présente, ligne par ligne, sous la forme d’un vecteur J-lens. L’effet sur la propension à produire un token i s’obtient par le produit scalaire avec son vecteur J-lens. Sous l’hypothèse d’une répartition approximativement uniforme des vecteurs J-lens sur la sphère, les produits scalaires entre vecteurs distincts sont en moyenne proches de zéro, sauf pour des paires sémantiquement proches ; pour une dimension 4096, l’ordre de grandeur caractéristique d’un tel produit scalaire est d’environ 0.015.

Part verbalizable, résidu et orthogonalité stricte

La composante verbalizable d’une représentation est sa projection orthogonale sur l’espace J, vue comme une expansion k-parcimonieuse approchée sur les vecteurs J-lens. La parcimonie retient des vecteurs approximativement orthogonaux et sémantiquement éloignés, si bien que les tokens qui obtiennent des scores élevés appartiennent à des clusters proches des k vecteurs choisis. La composante non verbalizable est le résidu de cette projection. Des résultats d’optimisation convexe garantissent l’orthogonalité stricte entre projection et résidu, ce qui annule leur produit scalaire.

Dimension efficace : définir et interpréter la FVE

La capacité de l’espace J se quantifie via la fraction de variance expliquée, définie comme l’espérance, sur prompts et positions, du ratio entre l’énergie de la projection et l’énergie totale. Par orthogonalité, elle s’exprime aussi comme l’espérance du complément du ratio d’énergie du résidu. Pour isoler le signal au-delà de l’effet de k vecteurs quelconques, la variance excédentaire soustrait la FVE obtenue avec k vecteurs aléatoires. Empiriquement, cette mesure se stabilise au-delà de k = 25 et atteint environ 10% d’excès, alors que 25 vecteurs aléatoires expliqueraient en moyenne une fraction de variance de l’ordre de 25 sur 4096, inférieure à 1%, sous hypothèse d’indépendance. Ces résultats sont interprétés comme l’indication qu’une part saillante des contenus verbalizables occupe un manifold très bas dimensionnel, avec 25 très inférieur à 4096.

Intervenir sans NP-difficulté : régression 2D et conditions

Pour des manipulations causales calculables, Anthropic substitue à la projection conique exacte un schéma de régression linéaire dans un plan engendré par deux vecteurs J-lens, source et cible. On forme une matrice à deux colonnes, on projette une représentation par inverse pseudo de Moore-Penrose, puis on échange les deux composantes du vecteur de coefficients pour substituer les concepts. Cette réduction au 2D fournit une expression en forme fermée et évite l’optimisation NP-difficile. L’analyse relie ces coefficients de régression aux coefficients exacts de la décomposition parcimonieuse : quand les deux vecteurs sont actifs, leurs coefficients exacts sont positifs et de petites perturbations restent dans le cône ; la condition d’annulation de certains termes découle de la propriété de minimisation de la projection, et une autre annulation est approchée via la quasi-orthogonalité garantie par un lemme de concentration de Lévy. Il est conclu que l’échange par régression est une bonne approximation d’une permutation exacte des coefficients. Cette approche devient toutefois mal posée si les deux vecteurs sont presque collinéaires : l’inverse pseudo se dégrade, les coefficients peuvent devenir négatifs et le résultat sortir du cône de l’espace J.