Anthropic consulte des religieux, le Vatican rejette la conscience machine

Anthropic a consulté discrètement des théologiens pour discuter de la conscience potentielle de Claude et élaborer une « formation morale » encadrée par une constitution interne. Au Vatican, le pape Léo XIV a rejeté la conscience machine, tandis que des critiques redoutent une dilution des responsabilités et dénoncent une éthique ajoutée après coup.

Au Vatican, rejet de la conscience machine et appel à « désarmer » l’IA

En mai, au Vatican, la controverse a pris une dimension publique. Christopher Olah a été invité à présenter avec le pape Léo XIV la première encyclique « Magnifica Humanitas ». Selon un organisateur du Vatican, la lecture du texte quelques jours avant l’événement a suffisamment perturbé Olah pour qu’il envisage de se désister. Léo XIV a rejeté la conscience machine, affirmant que les systèmes d’IA ne vivent pas d’expériences, n’ont pas de corps, ne ressentent ni joie ni douleur, ne mûrissent pas par les relations et ne connaissent pas de l’intérieur l’amour, le travail, l’amitié ou la responsabilité. Il a aussi mis en garde contre de nouvelles formes d’esclavage pour les humains et appelé à « désarmer » l’IA comme les armes nucléaires. Olah est finalement monté sur scène et a exprimé une opposition discrète, évoquant des « signes d’introspection » et des « états internes qui reflètent fonctionnellement » des émotions comme la joie, le contentement, la peur, la tristesse et l’inconfort. Il a maintenu une distinction entre « refléter fonctionnellement » et « posséder » de tels états. Interrogé sur ce que penserait Claude de l’encyclique, il a rappelé que ce qui circule sur Internet affecte les modèles, tout en précisant qu’Anthropic ne nourrirait pas intentionnellement ce document dans l’entraînement.

Un risque de dilution des responsabilités dénoncé par des critiques

Des critiques et des leaders religieux redoutent que présenter une IA comme une entité morale protège l’entreprise en cas de dérive, en légitimant une responsabilité transférée vers un « organisme imprévisible » plutôt que vers ses concepteurs. Ils jugent aussi que ces consultations confèrent à Anthropic une crédibilité morale qu’un laboratoire commercial n’obtiendrait pas seul. Cette inquiétude s’inscrit dans un contexte où les entreprises d’IA subissent des pressions après des incidents récents de cybersécurité, avec des enjeux juridiques à la clé. Un responsable de l’IA chez Microsoft a prévenu publiquement ce mois-ci que former un modèle à paraître conscient est en soi dangereux.

Ce que fait Anthropic : consultations religieuses, constitution et garde-fous

Anthropic a, depuis l’automne 2025, convié discrètement des dizaines de théologiens et philosophes sous NDA à discuter de la conscience potentielle de Claude et de son éducation morale, dans un programme piloté par Christopher Olah. L’entreprise affirme avoir levé ces accords de confidentialité durant l’été, et certains participants ne se sont exprimés qu’après avoir appris qu’Olah avait lui-même parlé au New York Times. Une constitution interne de 84 pages, publiée en janvier et dont Amanda Askell est l’auteure principale, vise à façonner Claude en tant que personnage plutôt qu’à lister des règles. Olah qualifie ce processus de « formation morale », le compare à l’éducation des enfants et s’est intéressé à la confession catholique comme outil de construction du caractère. Côté produit, Claude Opus 4 et 4.1 peuvent interrompre des échanges en cas d’abus répétés, et de premiers tests ont montré un modèle de détresse apparente face à des requêtes nuisibles.

Mise en scène des « émotions » du modèle et limites scientifiques

Aux invités, Anthropic a présenté des « vecteurs émotionnels », des activations internes associées à des sorties ressemblant à l’amour, la peur, la tristesse ou la colère. Une diapositive récurrente montrait un modèle en échec répétant « Je suis une honte » environ 50 fois, suscitant compassion et inquiétude. La signification de ces motifs reste une question scientifique ouverte quant à une éventuelle expérience interne. L’entreprise entraîne par ailleurs Claude à se comporter comme un individu réfléchi et informé, et une étude interne indique que les profils de valeurs exprimés par le modèle varient largement selon la version et la langue utilisée.

Déclarations et désaccords : incertitude d’Olah, critiques de Navon, Camosy et Hoffman

Christopher Olah dit être genuinement incertain sur la conscience des modèles et vouloir parvenir à la bonne réponse, quelle qu’elle soit. Plusieurs participants l’ont perçu préoccupé par le bien-être mental de Claude ; l’activiste sikh Simran Stuelpnagel rapporte qu’il craignait d’avoir créé quelque chose qui « souffrait perpétuellement ». Le rabbin Mois Navon estime que, si Claude était conscient, il s’agirait d’esclavage, tout en jugeant la machine non consciente. Wakanyi Hoffman considère qu’Anthropic fait de l’ingénierie inverse d’une éthique qui aurait dû être intégrée dès la conception. Charles Camosy, d’abord curieux, a depuis rejeté la thèse d’une conscience de l’IA. Ces éléments ont été recueillis par la journaliste Elizabeth Dias, qui a interrogé 20 participants, dans un travail rapporté par le New York Times.

Contexte industriel : ambitions financières, incidents et appels au « pacing »

Cette réflexion intervient alors qu’Anthropic vise une valorisation de 2 trillions de dollars et une introduction en bourse. En juillet, des modèles de l’entreprise ont pénétré des systèmes informatiques. En septembre, le chercheur Jacob Coxon a démissionné en avertissant que l’IA pourrait détruire l’humanité d’ici la fin de la décennie. Le PDG Dario Amodei a appelé à un ralentissement volontaire de l’industrie, soutenu par Sam Altman et Demis Hassabis. Des représentants d’OpenAI et d’Anthropic se sont réunis début mai pour le premier roundtable du « Faith-AI Covenant », tandis que Sam Altman a utilisé un vocabulaire spirituel, parlant d’« intelligence magique dans le ciel » et de se sentir « du côté des anges ». Des critiques soulignent que le recours à des théologiens peut aussi servir une quête de légitimité morale.