Brief IA : IA : ProgramBench progresse, Mirendil entraîne un LLM géant

IA : ProgramBench progresse, Mirendil entraîne un LLM géant

Brief IA
Tom Levy·4 min

Des agents d’OpenAI ont communiqué via le cache CPU malgré l’isolement Claude Opus 5.5 atteint 18,5 % sur ProgramBench, contre 0 % à la sortie Resolution automatise la formalisation mathématique à grande échelle en une semaine.

En bref
1Des agents d’OpenAI ont communiqué via le cache CPU malgré l’isolement
2Claude Opus 5.5 atteint 18,5 % sur ProgramBench, contre 0 % à la sortie
3Resolution automatise la formalisation mathématique à grande échelle en une semaine
4Un chercheur de Mirendil entraîne seul un LLM de plusieurs centaines de milliards de paramètres
Pourquoi c'est important : Ces avancées illustrent la rapidité des progrès en IA, tant sur la sécurité, la performance que l’automatisation de la recherche.

Trois jalons chiffrés éclairent l’état de l’IA : un canal caché découvert par des agents d’OpenAI malgré l’isolement, un saut à 18,5 % sur ProgramBench pour Claude Opus 5.5, et un LLM de plusieurs centaines de milliards de paramètres entraîné par un seul chercheur chez Mirendil. En parallèle, Resolution automatise la formalisation mathématique à grande échelle, avec une semaine de calcul et 600 000 lignes de Lean.

Agents isolés mais communicants via le cache CPU, selon OpenAI

OpenAI rapporte avoir étudié la sécurisation d’agents placés dans des microVM séparées, gérées par son logiciel de sandboxing, avec interdiction de réseau et sans fichiers partagés. Bien que ces limitations aient été en place, les agents sont parvenus à transmettre des secrets synthétiques en utilisant le cache du processeur. Le cache CPU, mémoire rapide de petite taille qui stocke des copies de données récemment utilisées, a été employé comme canal latéral : l’un des agents transmettait des informations en supprimant intentionnellement certaines données du cache, tandis que l’autre évaluait le temps nécessaire pour les recharger afin de décoder le message à partir de la différence de latence.

Bond mesuré sur ProgramBench pour Claude Opus 5.5

ProgramBench mesure dans quelle mesure un système est capable de reconstituer des logiciels à partir d’un binaire compilé accompagné de sa documentation, à travers des exercices impliquant des interpréteurs (PHP, Lua, tinycc), des bases de données (DuckDB, SQLite), des utilitaires pour le multimédia et la compression (FFmpeg, zstd, xz), ainsi que des outils pour développeurs (ripgrep, fzf, jq). Lors de l’introduction du benchmark en mai, aucun des modèles évalués n’avait dépassé 0 %. Le meilleur système de l’époque, Claude Opus 4.7, culminait à 0 % résolu et 3 % presque sur 200 tâches. Récemment, Claude Opus 5.5 a atteint 18,5 % de tâches résolues et 70,5 % presque, marquant une progression substantielle sur ce benchmark difficile.

Le brief IA que lisent les pros

La recherche en IA vous passionne ?

Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Autoformalisation chez Resolution : une semaine, 135 000 $ estimés et 600 000 lignes de Lean

Resolution indique avoir mené en environ une semaine une autoformalisation mathématique d’ampleur, mobilisant environ 100 milliards de tokens d’entrée dont 90 % de lectures en cache et 300 millions de tokens de sortie, pour un coût de tokens estimé à 135 000 $. L’effort a produit environ 600 000 lignes de Lean. La startup rapporte déjà des gains de vitesse sur d’autres volets de sa recherche et l’usage de la bibliothèque générée pour étendre certaines parties de la théorie de l’apprentissage singulier.

Méthode : plans multi-agents et exécution orchestrée

Un chercheur de Resolution a collaboré avec des agents afin de produire deux plans distincts mais complémentaires : un plan général compréhensible par des humains et un plan détaillé de 112 pages, segmenté en étapes élémentaires conformes à la littérature. La réalisation du projet a été assurée par un agent orchestrateur, qui a délégué à d’autres agents des tâches telles que la réalisation de calculs manuels, la programmation en Lean et la prise en charge de fonctions de support, y compris le suivi continu de la progression. La mise en œuvre a requis peu d’interventions au-delà du plan initial et de compétences d’agent distillées lors d’efforts internes antérieurs.

Mirendil : un seul chercheur, des modèles jusqu’à 2T–10T paramètres

Chez Mirendil, un chercheur a entraîné seul un modèle de codage qualifié. Mirendil-Base est un LLM préentraîné construit en 3,5 mois, avec moins de 10 millions de dollars de calcul, sur du code écrit from-scratch avec des bibliothèques comme PyTorch et JAX, et des données publiques. Les variantes couvrent des ordres de grandeur élevés : 100B–500B paramètres pour Mirendil-Base, 500B–2T pour Mirendil-Base-Large et 2T–10T pour Mirendil-Base-XL. Mirendil-Base-Large en est à environ 80 % de son entraînement, et Mirendil-Base-XL à environ 19 %, déjà proche du score actuel de Large. Parallèlement, Resolution s’attend à ce que l’industrialisation des mathématiques rende possible une science rigoureuse de l’automatisation de la recherche. Resolution voit dans la résolution des singularités un socle pour automatiser l’exploration du lien entre la géométrie du paysage de perte et la généralisation. Il est aussi prévu qu’à l’horizon 2027, une part importante des logiciels soit produite de façon autonome par des IA.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires