Alignement IA : la généralisation des valeurs au centre de la théorie

Une théorie de l’alignement soutient que la plupart des défaillances proviennent d’un même point faible : l’incapacité à étendre correctement des objectifs quand le modèle du monde change. Elle affirme en outre que, sans cette compétence, l’alignement ne se fragmente pas en sous-problèmes traitables, et que les LLM reproduisent ces écueils.

La théorie affirme que l’alignement reste indivisible sans généralisation

La théorie met en avant la non-décomposabilité de l’alignement de l’IA en l’absence de généralisation. Elle affirme qu’en pratique, sans cette compétence, le problème ne peut pas être transformé en sous-problèmes plus simples. Les approches existantes qui paraissent décomposables ne fonctionnent qu’au prix de limites marquées, et les IA enfermées ne seraient sécurisables que dans des conditions très spécifiques. Il est aussi affirmé que les LLMs échouent de manière similaire lorsque les hypothèses sous-jacentes ne tiennent plus.

La capacité à transférer des objectifs à un nouveau modèle est centrale

La généralisation des valeurs est définie comme la capacité à étendre des objectifs d’un modèle vers un autre après une fragmentation du modèle. Le cadre pose un ensemble de caractéristiques F, assorti d’une distribution P, que l’agent utilise pour percevoir et agir. Deux agents poursuivant des buts distincts peuvent employer des caractéristiques différentes dans un même environnement, comme illustré par l’exemple du médecin et du géologue face aux rochers. Ces caractéristiques appartiennent aux modèles des agents et non à la réalité physique, et des objectifs usuels, tels que gagner de l’argent ou augmenter les QALY, sont spécifiés via ces caractéristiques. La théorie affirme que tous les objectifs sensés sont définis dans les modèles plutôt que dans la réalité sous-jacente.

Pourquoi les valeurs sont jugées sous-définies

Il est soutenu que nos valeurs sont formellement sous-définies à un degré extrême. Définir strictement ce qui est humain ou conscient dans tous les futurs, jusqu’au niveau atomique ou quantique, est présenté comme irréaliste, tout comme pour souffrance, bonheur, épanouissement ou liberté. Malgré cela, des instructions comme prévenir la souffrance humaine sont considérées comme compréhensibles dans des cas typiques et intuitivement extensibles à de nouvelles situations. L’objectif affiché est que des systèmes puissent aussi l’étendre à des cas extrêmes, y compris lorsque le monde est représenté en champs quantiques ou face à des entités brouillant nos catégories morales, comme des uploads, des esprits collectifs ou des hybrides humains-LLM.

Les échecs classiques vus comme défauts de généralisation

La théorie regroupe plusieurs modes d’échec de l’alignement sous l’angle d’une mauvaise généralisation des valeurs. Goodhart est présenté comme l’échec à transposer un proxy à un nouvel environnement ; l’ancrage symbolique comme l’échec à maintenir l’identification symbole-objet. Le wireheading combine ces deux travers lorsque le signal de récompense est pris pour la récompense, surtout si l’agent peut contrôler ce canal. Les LLMs sont affirmés sujets à ces manipulations, et les attaques adversariales, comme les instantiations perverses, brisent le lien entre caractéristiques formelles et objectifs réels. L’argument avancé est que des IA optimisantes chercheront des cas limites où le score nominal diverge du résultat désiré. De façon générale, les approches échouent quand leurs hypothèses sur les caractéristiques ou les proxys cessent d’être valides, notamment celles reposant sur un retour humain fiable. Les LLMs connaissent aussi des défaillances quand les descriptions linguistiques ne correspondent plus à la réalité sous-jacente.

La formalisation d’un retour humain pertinent reste impossible selon la théorie

L’idée d’un retour non contraint d’un humain bien informé est jugée à la fois pertinente et non définissable formellement. Des descriptions exhaustives au niveau atomique seraient inutiles, d’où le recours à des résumés adaptés à nos concepts. Mais distinguer l’essentiel de l’accessoire devient ardu hors des cas usuels, avec des questions comme la prise en compte de la souffrance potentielle des insectes ou des LLMs et la conduite à tenir si le système a tranché ce point. Le concept de non-contrainte est lui-même flou, car des pressions variées pèsent toujours ; un avertissement urgent et véridique peut être souhaitable, tout en excluant que le système crée ou laisse prospérer la menace. La prise de contrôle globale pour garantir une information parfaite est écartée. Les tentatives de séparer proprement les composantes de l’alignement se heurtent à leur imbrication dans des contextes nouveaux. Trouver l’approximation contextuelle la moins mauvaise de ce retour relève de la généralisation des valeurs, en reconnaissant qu’il existe beaucoup de mauvaises méthodes et quelques meilleures, sans critère formel unique.

Approches partiellement décomposables et bornes connues

Parmi les pistes qui semblent offrir une décomposition partielle figurent les oracles enfermés, l’interruptibilité par indifférence, le faible impact et les IA outils. L’auteur indique avoir contribué à plusieurs d’entre elles et soutient qu’elles fonctionnent dans une certaine mesure, mais avec des restrictions fortes ; la sécurité des IA enfermées dépendrait de conditions très spécifiques. Il est mis en garde contre une focalisation exclusive sur la rigueur formelle lorsque les concepts utiles échappent à une définition stable, ce qui conduit soit à supposer ces concepts bien définis, soit à les ignorer. Un développement ultérieur est annoncé pour défendre que la voie corporative à but lucratif serait probablement la plus sûre.