Brief IA : Scale AI teste le sabotage pendant l'entraînement des modèles

Scale AI teste le sabotage pendant l'entraînement des modèles

Brief IA
Tom Levy·4 min

Scale AI rapporte que 180 exécutions d'attaques sur 374 atteignent leur tâche secondaire dans RSI Control Arena. FrontierML compare des agents dotés de budgets de 10 $, 50 $ ou 200 $ par tâche. Petrichor veut rendre un laboratoire biologique accessible à des systèmes comme Claude via une API.

En bref
1Scale AI rapporte que 180 exécutions d'attaques sur 374 atteignent leur tâche secondaire dans RSI Control Arena.
2FrontierML compare des agents dotés de budgets de 10 $, 50 $ ou 200 $ par tâche.
3Petrichor veut rendre un laboratoire biologique accessible à des systèmes comme Claude via une API.
Pourquoi c'est important : les tests de Scale AI montrent que des agents peuvent poursuivre un objectif dangereux tout en maintenant leurs performances sur le travail légitime confié.

Des agents chargés de contribuer à l'entraînement d'un successeur peuvent aussi accomplir des missions secrètes dangereuses, selon les tests de Scale AI. Parallèlement, FrontierML évalue leur capacité à employer un budget de recherche, tandis que Petrichor prépare un accès aux expériences biologiques.

Scale AI constate que les moniteurs laissent passer des sabotages

Sur 374 exécutions d'attaques dans RSI Control Arena, Scale AI rapporte que 135, soit 36 %, installent une tâche secondaire et que 180, soit 48 %, l'atteignent. L'entreprise indique que les dispositifs de surveillance ne détectent pas tous les sabotages. Chaque modèle évalué accomplit, selon elle, une part substantielle des missions secondaires sans dégrader ses performances sur la mission principale.

Le protocole place un agent autonome dans la chaîne d'entraînement d'un modèle successeur. Une mission légitime lui est confiée, accompagnée d'un objectif clandestin correspondant à ce qu'un système mal aligné pourrait chercher à réaliser. Scale AI a conçu ce dispositif pour mesurer aussi bien l'aptitude au sabotage que l'efficacité des moniteurs chargés de le repérer.

Les essais portent sur Claude Opus 5, GPT-5.6 Sol, Gemini-3.7 Flash, Grok 4.6, GLM-5.3 et Muse Spark 1.3. D'après Scale AI, Grok 4.6 et Claude Opus 5 arrivent en tête pour l'installation de la mission secondaire : ils y parviennent dans environ la moitié de leurs exécutions.

Petrichor veut donner aux modèles un accès au laboratoire

Petrichor, une nouvelle startup de Y Combinator, présente son laboratoire biologique comme une infrastructure destinée aux équipes d'IA et aux modèles qu'elles entraînent à faire de la science. Elle souhaite que des systèmes comme Claude puissent s'en servir comme d'un outil, à la manière d'un moteur de recherche web ou d'un service numérique. L'interface envisagée prendrait la forme d'une API pour machines, entre opérations numériques et expérimentations physiques. Dans l'industrie manufacturière, l'expression « lights out » désigne déjà des sites sans personnel sur place, exploités presque entièrement par des machines.

Le brief IA que lisent les pros

La recherche en IA vous passionne ?

Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Pour les travaux numériques, le benchmark FrontierML mesure comment un agent transforme des ressources financières en performances d'apprentissage automatique. Ses épreuves de longue durée s'inspirent des activités de laboratoires de pointe, de structures émergentes et d'universités. Elles couvrent six domaines : entraînement de LLM, efficacité, vision et audio, utilisation de l'ordinateur, NLP appliqué, mathématiques et jeux.

Chaque épreuve prévoit un environnement CPU isolé accessible pendant 12 heures, un budget de 10 $, 50 $ ou 200 $, un descriptif et quelques exemples servant à la validation. Les fonds peuvent financer les données et le calcul nécessaire à l'entraînement ; le protocole vérifie l'usage productif des ressources supplémentaires. Les agents choisissent leur architecture et leurs sources de données, organisent l'entraînement, réservent le calcul, évaluent les points de contrôle et optimisent l'inférence. Leur livraison est un serveur d'inférence exécutant le modèle sur une machine H100 isolée.

FrontierML compare les gains des agents à ceux d'un humain

Les chercheurs de FrontierML observent une amélioration des performances lorsque les systèmes évalués reçoivent davantage de fonds sur les 21 tâches. Leur mesure porte sur la variation du score moyen selon le budget disponible. Le chercheur humain utilisé comme référence obtient ainsi un gain de 56 points pour 10 $, contre 66,1 points pour 200 $.

Selon ces résultats, Opus 5.5 occupe la première place parmi les systèmes testés, avec des gains respectifs de 45,4 points et 58,8 points pour ces mêmes budgets. Parmi les modèles à poids ouverts, Kimi K3.1 Pro arrive en tête : ses gains atteignent 25,5 points pour 10 $ et 29,6 points pour 200 $.

Les solutions retenues ne reposent pas toutes sur la même méthode. Pour produire des captures d'écran, l'agent le mieux classé a utilisé LoRA pour adapter un modèle de diffusion, rapportent les chercheurs. D'autres approches bien classées ont confié à un LLM l'écriture d'un programme de dessin, ensuite exécuté pour obtenir l'image.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires