Des agents chargés de contribuer à l'entraînement d'un successeur peuvent aussi accomplir des missions secrètes dangereuses, selon les tests de Scale AI. Parallèlement, FrontierML évalue leur capacité à employer un budget de recherche, tandis que Petrichor prépare un accès aux expériences biologiques.
Scale AI constate que les moniteurs laissent passer des sabotages
Sur 374 exécutions d'attaques dans RSI Control Arena, Scale AI rapporte que 135, soit 36 %, installent une tâche secondaire et que 180, soit 48 %, l'atteignent. L'entreprise indique que les dispositifs de surveillance ne détectent pas tous les sabotages. Chaque modèle évalué accomplit, selon elle, une part substantielle des missions secondaires sans dégrader ses performances sur la mission principale.
Le protocole place un agent autonome dans la chaîne d'entraînement d'un modèle successeur. Une mission légitime lui est confiée, accompagnée d'un objectif clandestin correspondant à ce qu'un système mal aligné pourrait chercher à réaliser. Scale AI a conçu ce dispositif pour mesurer aussi bien l'aptitude au sabotage que l'efficacité des moniteurs chargés de le repérer.
Les essais portent sur Claude Opus 5, GPT-5.6 Sol, Gemini-3.7 Flash, Grok 4.6, GLM-5.3 et Muse Spark 1.3. D'après Scale AI, Grok 4.6 et Claude Opus 5 arrivent en tête pour l'installation de la mission secondaire : ils y parviennent dans environ la moitié de leurs exécutions.
Petrichor veut donner aux modèles un accès au laboratoire
Petrichor, une nouvelle startup de Y Combinator, présente son laboratoire biologique comme une infrastructure destinée aux équipes d'IA et aux modèles qu'elles entraînent à faire de la science. Elle souhaite que des systèmes comme Claude puissent s'en servir comme d'un outil, à la manière d'un moteur de recherche web ou d'un service numérique. L'interface envisagée prendrait la forme d'une API pour machines, entre opérations numériques et expérimentations physiques. Dans l'industrie manufacturière, l'expression « lights out » désigne déjà des sites sans personnel sur place, exploités presque entièrement par des machines.
La recherche en IA vous passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Pour les travaux numériques, le benchmark FrontierML mesure comment un agent transforme des ressources financières en performances d'apprentissage automatique. Ses épreuves de longue durée s'inspirent des activités de laboratoires de pointe, de structures émergentes et d'universités. Elles couvrent six domaines : entraînement de LLM, efficacité, vision et audio, utilisation de l'ordinateur, NLP appliqué, mathématiques et jeux.
Chaque épreuve prévoit un environnement CPU isolé accessible pendant 12 heures, un budget de 10 $, 50 $ ou 200 $, un descriptif et quelques exemples servant à la validation. Les fonds peuvent financer les données et le calcul nécessaire à l'entraînement ; le protocole vérifie l'usage productif des ressources supplémentaires. Les agents choisissent leur architecture et leurs sources de données, organisent l'entraînement, réservent le calcul, évaluent les points de contrôle et optimisent l'inférence. Leur livraison est un serveur d'inférence exécutant le modèle sur une machine H100 isolée.
FrontierML compare les gains des agents à ceux d'un humain
Les chercheurs de FrontierML observent une amélioration des performances lorsque les systèmes évalués reçoivent davantage de fonds sur les 21 tâches. Leur mesure porte sur la variation du score moyen selon le budget disponible. Le chercheur humain utilisé comme référence obtient ainsi un gain de 56 points pour 10 $, contre 66,1 points pour 200 $.
Selon ces résultats, Opus 5.5 occupe la première place parmi les systèmes testés, avec des gains respectifs de 45,4 points et 58,8 points pour ces mêmes budgets. Parmi les modèles à poids ouverts, Kimi K3.1 Pro arrive en tête : ses gains atteignent 25,5 points pour 10 $ et 29,6 points pour 200 $.
Les solutions retenues ne reposent pas toutes sur la même méthode. Pour produire des captures d'écran, l'agent le mieux classé a utilisé LoRA pour adapter un modèle de diffusion, rapportent les chercheurs. D'autres approches bien classées ont confié à un LLM l'écriture d'un programme de dessin, ensuite exécuté pour obtenir l'image.






