Chercheur en interprétabilité chez Anthropic, Emmanuel Ameisen décrit des mécanismes internes des modèles de langage qui dépassent le simple « prochain token ». Il relie ces pistes à l’alignement et à la sécurité, et les étaye par des travaux et lectures de référence. Son parcours mêle recherche et pratique du ML appliqué.
Interprétabilité reliée à l’alignement et aux travaux cités
Emmanuel Ameisen relie l’interprétabilité à l’alignement et à la sécurité de l’IA. Il cite des références majeures du domaine, telles que "A global workspace in language models" et "Scaling Laws for Neural Language Models". Il mentionne également "Claude’s Constitution", ainsi que des travaux de Chris Olah et de la publication Distill. Parmi les sources évoquées figure aussi "Tracing the thoughts of a large language model".
Ce que les modèles feraient en interne selon Ameisen
Selon Emmanuel Ameisen, les modèles de langage élaborent des représentations globales de concepts et prévoient un grand nombre de tokens à l’avance sans expliciter ces stratégies. Il considère que leur structure interne pourrait refléter une organisation similaire à la séparation entre processus conscients et inconscients observée chez l’humain. Il remet en question le cadre du prédicteur de prochain token, qu’il juge réducteur pour comprendre la planification et la pensée des modèles. Ameisen considère que l’anthropomorphisme peut être une approche pertinente pour appréhender ces systèmes. Il avance également que les modèles sont davantage cultivés que construits. Il discute de l'intérêt de l'espace J pour explorer la conscience potentielle des modèles et décrit une progression continue des capacités, là où certains perçoivent des sauts soudains.
Vous voulez les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Parcours et objets d’étude
Emmanuel Ameisen est chercheur en interprétabilité chez Anthropic, où il étudie des modèles de langage comme Claude. Il a auparavant travaillé plusieurs années dans le machine learning appliqué chez Stripe et Insight. Il est l’auteur de "Building Machine Learning Powered Applications". Parmi les livres qu’il recommande figurent "A Brief History of Intelligence: Evolution, AI, and the Five Breakthroughs That Made Our Brains", "Stories of Your Life and Others" et "Four Thousand Weeks: Time Management for Mortals".
