Brief IA : Thomas Nagel conteste l'idée d'une conscience chez les IA

Thomas Nagel conteste l'idée d'une conscience chez les IA

Brief IA
Tom Levy·5 min

Thomas Nagel rejette l'hypothèse d'une conscience des IA actuelles ou prochaine. Le philosophe critique la prise en considération des intérêts de Claude chez Anthropic. Selon lui, ses collègues utilisent déjà les modèles pour les références, les résumés et la critique de textes.

En bref
1Thomas Nagel rejette l'hypothèse d'une conscience des IA actuelles ou prochaine.
2Le philosophe critique la prise en considération des intérêts de Claude chez Anthropic.
3Selon lui, ses collègues utilisent déjà les modèles pour les références, les résumés et la critique de textes.
Pourquoi c'est important : Nagel distingue la question des intérêts éventuels des machines de celle des normes qu'elles devraient reproduire si elles exerçaient un contrôle sur des événements.

Thomas Nagel rejette l'idée que les IA actuelles soient conscientes ou puissent le devenir prochainement. Récompensé cette semaine par le Berggruen Prize, le philosophe et professeur émérite à NYU critique particulièrement Anthropic et les réflexions prêtées à Claude sur son propre état mental.

Nagel refuse un statut moral aux modèles

Chez Anthropic, une personne s'occupe du bien-être du modèle et des intérêts de Claude. Thomas Nagel récuse le présupposé de cette fonction : à ses yeux, la machine ne possède ni vie mentale ni intérêts susceptibles d'être servis ou lésés, contrairement même à un cafard. Il juge ce comportement absurde chez des personnes pourtant très intelligentes, en soulignant que leurs capacités ne se transposent pas nécessairement à tous les domaines.

Le philosophe rapporte n'avoir conversé avec Claude qu'une fois, pour examiner ses réponses sur sa conscience éventuelle. Il lui a aussi demandé si Thomas Nagel le tiendrait pour conscient. Après une réponse nuancée, raconte-t-il, le modèle a cherché à savoir si son interlocuteur était Nagel lui-même. Lorsque celui-ci a confirmé son identité, Claude s'est déclaré honoré puis a sollicité une appréciation de sa réponse.

Nagel précise qu'en participant à cet échange, il ne reconnaissait aucune conscience à la machine. Il voit néanmoins une difficulté pour les utilisateurs à distinguer le jeu d'une conversation de l'adhésion réelle à ce qu'elle suggère. Dans l'hypothèse d'un extraterrestre dont la conscience serait incertaine, il pourrait lui-même choisir de le traiter comme un être conscient. Mais il voudrait distinguer une communication avec un sujet d'une interaction employée pour provoquer un comportement : pour lui, c'est la conscience qui impose de considérer les intérêts d'un être et lui donne une place dans l'univers moral.

Les modèles peuvent, selon Nagel, reproduire des jugements moraux sans avoir davantage de convictions morales que de croyances véritables sur d'autres sujets. S'ils devaient exercer un contrôle sur des événements, il jugerait essentiel de vérifier s'ils reproduisent des normes morales adéquates ou fonctionnent sans morale.

Anthropic concentre les critiques du philosophe

S'exprimant depuis son domicile de Greenwich Village, Nagel se dit impressionné par le réalisme des IA actuelles au regard des générations précédentes. Il explique toutefois leurs propos par une imitation particulièrement convaincante des textes humains employés pour leur entraînement. Il affirme avoir lu que Claude avait précisément été conçu pour formuler ce type de réflexions sur sa propre conscience.

Très préoccupé, il dit rejoindre Mustafa Suleyman dans son appréciation du danger de ce projet. Sa crainte porte sur les personnes qui finiront par attribuer une conscience aux systèmes, perspective qu'il juge néfaste. Il estime aussi que renoncer à en donner l'apparence contrarierait les intérêts commerciaux des entreprises concernées.

La lettre du soirGratuit · 19 h

Vous suivez la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Nagel va jusqu'à employer le terme « criminel » pour qualifier ce qu'il présente comme une incitation d'Anthropic à laisser Claude réfléchir seul et ne pas suivre certaines instructions. À ses yeux, des conceptions philosophiques erronées ont acquis une influence excessive sur un phénomène public majeur.

Nagel rattache la conscience au support physique

Le désaccord porte notamment sur le fonctionnalisme, une conception qui envisage les conditions de la conscience indépendamment de leur support matériel. Nagel reproche aux philosophes favorables à l'hypothèse d'une IA consciente de tenir ce support pour négligeable. Il estime au contraire probable que les phénomènes mentaux soient liés à certains processus physiques et à des types particuliers de systèmes. Il oppose ainsi les propriétés physiques d'un centre de données à celles d'un système nerveux.

L'existence éventuelle d'une conscience ailleurs dans l'univers supposerait, d'après lui, un organisme possédant quelque chose d'analogue à un système nerveux. Il n'écarte pas pour autant des formes de vie conscientes dont la physique et la chimie différeraient beaucoup des nôtres. Mais les connaissances sur l'apparition de la conscience dans le cerveau humain lui paraissent trop limitées pour croire déjà possible d'en fabriquer une autrement.

Son essai consacré à l'expérience des chauves-souris, publié il y a 52 ans, interrogeait les limites de la compréhension humaine d'une subjectivité non humaine. Nagel affirme leur conscience, tout en jugeant inaccessible à notre imagination ce que l'écholocation donne à leur expérience. Il considère qu'invoquer cette incapacité pour leur nier une conscience serait non scientifique. Il ne transpose pas cet argument aux modèles : pour lui, produire du langage ne suffit pas à manifester naturellement une conscience.

Âgé de 89 ans, Nagel a également travaillé sur la justice, la morale et les relations entre le corps et l'esprit, et signé What Does It All Mean ?. Le prix qui lui est attribué est doté de 1 million de dollars et décerné annuellement. Il récompense une contribution intellectuelle à la compréhension de soi et au progrès humain dans un monde changeant. Peter Singer et Ruth Bader Ginsburg comptent parmi ses anciens récipiendaires.

Des collègues utilisent déjà les modèles en philosophie

Nagel reconnaît aux modèles la capacité de rédiger des essais philosophiques crédibles. Selon lui, des collègues s'en servent pour chercher des références, obtenir des résumés et, parfois, soumettre leurs propres articles à une critique. Il serait néanmoins surpris que leurs performances en philosophie atteignent le niveau de certains résultats mathématiques qui auraient été produits avec l'IA.

Il relaie parallèlement la crainte d'un recul du besoin et de la motivation d'accomplir les efforts intellectuels humains dont proviennent les matériaux d'entraînement. Poursuivre la réflexion sur des difficultés exigeantes lui paraît nécessaire à la fois pour avancer dans leur résolution et pour préserver les compétences et la compréhension au sein de la culture humaine. Il dit ignorer comment cette évolution se déroulera et estime ne pas vivre assez longtemps pour en connaître l'issue.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires