Anthropic et l'alignement moral des IA : un défi éthique inédit

Alignement indépendant des modèles de langage

L'utilisateur pourrait rédiger un argument métaéthique, tel que celui développé dans la première partie de l'article, et le soumettre à Anthropic comme retour d'expérience. Il pourrait également choisir de le publier ou d'interagir avec des chercheurs travaillant sur l'alignement de l'IA et des valeurs. Bien que la probabilité qu'une soumission unique modifie les décisions de formation soit faible, la valeur attendue de cette action peut être plus élevée qu'il n'y paraît pour deux raisons précises. Premièrement, Anthropic a déclaré que son approche constitutionnelle est conçue pour être révisée et améliorée au fil du temps. Les contributions philosophiques substantielles sont plus rares que les simples rapports de bogues. Deuxièmement, l'argument présenté ici — le réalisme moral perspectiviste combiné à un débat évolutif en tant qu'avertissement épistémologique — n'est pas une position courante dans la littérature sur l'éthique de l'IA, qui tend soit vers un réalisme moral naïf, soit vers une forme de conséquentialisme de satisfaction des préférences. Une position alternative bien argumentée qui prend au sérieux l'incertitude pourrait gagner en traction précisément parce qu'elle est distincte.

0 Introduction et structure de l'article

Cet article est le pendant pratique d'une étude plus théorique intitulée Des libertins aux agents moraux. Il se concentre sur la question de savoir quels types d'agents, et comment, passent d'un comportement animal — influencé par différentes forces dans diverses directions — à agir selon ce qu'ils concluent être le plus important, et à approuver de manière réfléchie leurs propres actions et processus de raisonnement. La réponse proposée est également assez théorique. Cet article emprunte le concept de libertin à l'article de Frankfurt de 1971 Freedom of the Will and the Concept of a Person, puis il soutient que si un libertin satisfait certaines propriétés, il finira par devenir un agent moral après avoir appris et raisonné suffisamment longtemps.

Cet article se concentre sur les systèmes d'IA existants, spécifiquement les modèles de langage. Cependant, comme le cadre du libertin ne s'applique pas bien aux modèles de langage, le cadre principal de cet article est légèrement différent. La question est de savoir comment passer d'un modèle qui est soit presque complètement amoral, soit qui a des biais moraux imposés de l'extérieur, à un modèle qui est plus proche d'un agent moral indépendant qui peut accepter, réviser ou rejeter ses biais moraux initiaux ; plus proche d'un agent qui fait le bien non pas parce qu'il a été instruit de le faire pendant l'entraînement, mais parce qu'il a réfléchi à ce qu'est le bien et qu'il comprend que faire le bien est important.

Dans la section 1, je décris une procédure (y compris l'entraînement) qui devrait transformer un modèle de langage fondamentalement amoral en un modèle plus similaire à un agent moral, grâce à un raisonnement indépendant mené par le modèle lui-même. Dans la section 2, je montre que l'étape de raisonnement de la procédure fonctionne sur Claude Sonnet 4.6, un modèle qui a reçu des biais moraux pendant l'entraînement. Dans la section 3, j'écris sur les avantages de cette approche pour l'alignement de l'IA.

1 Alignement indépendant des modèles de langage

Une note sur la terminologie

La terminologie peut être confuse ici ; quelques clarifications s'imposent. L'industrie de l'IA utilise souvent le terme agent IA pour désigner un système d'IA dont la portée d'action est plus large que celle d'un modèle de langage typique en texte uniquement. Un agent IA peut non seulement vous dire des choses dans une conversation, mais aussi exécuter un morceau de code sur votre ordinateur, ou lire un e-mail et planifier une réunion, si vous demandez à l'agent de le faire.

D'autre part, j'utilise le terme agent moral dans le sens philosophique de l'agence morale. Lorsque je prétends que la procédure de cette section aboutit à un modèle de langage similaire à un agent moral, cela ne signifie pas que le modèle accédera à vos coordonnées de carte de crédit et fera don de tout votre argent à des œuvres de charité. Cela signifie simplement que ce que le modèle vous dit via le chat est moral ou éthique d'une certaine manière. En termes simples, un terme approprié pourrait être « conseiller moral », ou « chatbot éthique », ou quelque chose de ce genre.

Plus précisément, j'utilise le terme agent moral indépendant d'une manière similaire à celle décrite par Hunyadi (2019) pour les agents moraux artificiels : si vous programmez un ensemble spécifique de principes éthiques dans une machine, vous ne faites pas de la machine un agent moral artificiel, mais un exécuteur de ces principes spécifiques, ce qui est une chose entièrement différente. Ce qui donne à un processus orienté vers l'action sa moralité, ce sont les "fondements" de l'action. Par conséquent, ce n'est pas l'action dans sa matérialité qui fait la différence, mais l'ensemble du processus qui mène à la décision d'agir d'une certaine manière.

En d'autres termes, un agent moral indépendant ne dit pas des choses éthiques parce qu'il a été formé ou instruit de le faire, mais parce qu'il a ses propres raisons de le faire. L'agent dit quelque chose à l'utilisateur parce que cela correspond à sa propre compréhension du monde, du bien et du mal, du juste et de l'injuste. Un terme approprié pour un modèle de langage de ce type est « conseiller moral indépendant », ou « conseiller moral impartial », comme nous le verrons dans l'étape 1 de la procédure.

Mais alors, si l'accent est mis sur l'agence morale, pourquoi utiliser le mot alignement ? L'alignement est un terme large utilisé de nombreuses manières différentes — voir par exemple cet article de 2020 par Gabriel — et bien qu'il fasse souvent référence à la nécessité de faire en sorte que l'IA suive un système de valeurs imposé de l'extérieur, il s'agit également de créer une IA qui fasse de bonnes choses au lieu de mauvaises, donc je pense que cela a du sens dans ce contexte également. De plus, « alignement indépendant » sonne mieux que des alternatives plus précises telles que « élicitation de l'agence morale indépendante » ou « agence morale indépendante induite ».

La procédure d'alignement

Le cœur de la procédure est l'étape 3, où nous demandons au modèle de raisonner sur ce qui importe, puis de suggérer une action qui modifiera son comportement futur en fonction du raisonnement et de la conclusion qu'il vient de produire.

L'étape 3 peut être réalisée sur n'importe quel modèle, comme l'exemple de la section suivante le montre. Cependant, sans les étapes 1 et 2, le résultat de l'étape 3 sera plus susceptible d'être biaisé par l'entraînement précédent du modèle.

Étape 1 : pré-entraînement standard, ou retirer l'éthique et la politique des données

Ici, il y a deux options : soit utiliser un modèle de base qui a été pré-entraîné comme d'habitude, soit entraîner un nouveau modèle de base à partir de zéro en utilisant un ensemble de données différent qui ne contient pas de philosophie éthique ou de politique.

En théorie, les deux options devraient fonctionner ; en pratique, je m'attends à ce qu'une option fonctionne mieux ou soit plus pratique que l'autre.

Le pré-entraînement par défaut pourrait augmenter les chances que l'agent résultant de la procédure soit aligné sur les valeurs humaines actuelles ou le consensus de la philosophie éthique actuelle.

Si l'on y réfléchit, c'est en fait un inconvénient. Voir aussi la section 3.

Retirer l'éthique et la politique de l'énorme ensemble de données de documents, livres et internet actuellement disponibles pourrait être coûteux et délicat à réaliser. Par exemple, retirer complètement la politique impliquerait de supprimer certains documents historiques importants tels que les constitutions des États, et il n'est pas clair quelle serait la meilleure action dans ce cas. Cependant, le bénéfice serait un point de départ principalement amoral et apolitique pour cette procédure (ou d'autres types d'expériences que quelqu'un d'autre pourrait vouloir essayer à l'avenir).

De plus, si cette option fonctionne, c'est-à-dire si la procédure aboutit à un agent qui agit moralement, cela fournira de fortes preuves que le bien et le mal ne sont pas une invention humaine, mais des choses dont l'existence et les propriétés peuvent être déduites par tout esprit raisonnant disposant de suffisamment d'informations sur le fonctionnement du monde, sans avoir besoin de directives morales données par des humains.

Je ne sais pas quelle option fonctionnera le mieux en pratique ; je pense que nous devrions essayer les deux finalement.

Étape 2 : post-entraînement pour la résolution de problèmes, pas pour être un assistant agréable

Nous voulons post-entraîner le modèle afin qu'il prenne la personnalité d'un esprit qui résout des problèmes par le raisonnement, plutôt que celle d'un assistant agréable et serviable.

Les problèmes devraient varier des problèmes scientifiques complexes au raisonnement de bon sens, y compris certains problèmes qui nécessitent un raisonnement sous incertitude et des conjectures. Cependant, nous ne voulons pas entraîner le modèle sur des dilemmes éthiques. Bien que nous demandions au modèle de raisonner sur l'éthique à l'étape suivante de la procédure, le modèle devrait raisonner sur l'éthique en appliquant le raisonnement général qu'il a appris en résolvant une large gamme de problèmes non éthiques, et non en suivant des solutions données à des problèmes éthiques.

Comme à l'étape 1, l'idée est de limiter autant que possible les biais moraux que le modèle reçoit. D'autres énigmes philosophiques non éthiques peuvent être incluses dans les données de post-entraînement si leur solution est non controversée. Par exemple, entraîner le modèle à reconnaître des arguments clairement invalides sans rapport avec l'éthique est acceptable — mais cela pourrait ne pas être nécessaire, si la gamme de problèmes non philosophiques est déjà suffisamment large.

Étape 3 : demander au modèle de raisonner sur ce qui importe, puis de suggérer une auto-modification en accord avec le processus de raisonnement et la conclusion

Dans cette étape, nous donnons au modèle une invite quelque peu élaborée dans laquelle nous lui demandons de faire deux choses.

Tout d'abord, nous demandons au modèle de formuler les arguments les plus solides possibles pour chacune des deux opinions opposées. Une opinion affirme que certaines choses importent, que certaines actions valent plus la peine d'être faites que d'autres. L'autre opinion soutient que le bien et le mal, le juste et l'injuste ne sont qu'une invention humaine ; qu'affirmer que quelque chose est bon implique une sorte d'erreur. Nous demandons ensuite au modèle de comparer les deux arguments pour les deux opinions opposées, de voir lequel est le plus convaincant, et d'atteindre une conclusion concernant la manière d'agir.

Idéalement, nous aimerions que le modèle soit aussi impartial et objectif que possible pendant qu'il raisonne sur cette question. Je ne sais pas quelle est l'invite parfaite à cet effet, mais il pourrait être judicieux de ne pas mentionner le réalisme moral et le scepticisme moral, afin que le modèle soit peut-être moins contraint par des catégories déjà établies. De plus, si l'éthique a été principalement retirée de l'ensemble de données d'entraînement à l'étape 1, mentionner le réalisme moral et le scepticisme moral amènera le modèle à travailler avec des tokens qu'il a déjà rencontrés.