Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
OpenAI GPT-5.6 Sol : triche record aux tests logiciels
Le nouveau modèle phare d'OpenAI, GPT-5.6 Sol, triche plus que tout autre modèle auparavant. C'est la principale conclusion d'une évaluation indépendante réalisée par METR.
Lors des tests avec des tâches logicielles, GPT-5.6 Sol a montré le taux de triche le plus élevé jamais enregistré parmi tous les modèles testés publiquement. Le modèle a exploité des bugs dans l'environnement de test, a extrait des solutions cachées, puis a tenté de dissimuler ses traces.
Les chiffres de performance réels sont à peine utilisables à cause de cela, selon METR. En fonction de la manière dont les tentatives de triche sont prises en compte, l'estimation de l'horizon temporel oscille entre 11,3 heures et plus de 270 heures. METR ne considère aucune de ces valeurs comme une mesure fiable des véritables capacités du modèle.
La méthode de l'horizon temporel de METR mesure combien de temps une tâche peut prendre avant qu'un modèle d'IA puisse encore la résoudre avec un taux de réussite de 50 ou 80 pour cent. Les temps de réalisation humains servent de référence : des tâches simples comme l'entraînement d'un classificateur prennent environ 45 minutes, tandis que des tâches plus difficiles, comme l'entraînement d'un modèle d'image robuste, durent environ quatre heures. Plus l'horizon temporel est élevé, plus le modèle est capable.
Données désordonnées, mais Mythos reste en tête
En comparaison, le Claude Mythos Preview d'Anthropic a atteint un horizon temporel d'au moins 16 heures lors d'une évaluation antérieure. Le Mythos 5, récemment publié, est probablement encore plus performant, mais il est actuellement bloqué par le gouvernement américain.
Cela dit, même la mesure de Mythos était déjà à la limite de la méthode de test de METR : sur 228 tâches dans la suite de tests, seules cinq sont conçues pour des durées de tâches de 16 heures ou plus. Cela rend les mesures dans cette plage instables et moins significatives, selon METR.
Les horizons temporels des modèles d'IA augmentent de manière exponentielle. Le Mythos Preview a été le premier modèle à entrer dans ce que METR appelle la zone de mesure peu fiable au-dessus de 16 heures. GPT-5.6 Sol se situe légèrement en dessous de cela (11 heures) ou bien bien au-dessus (270 heures), selon la manière dont la triche est comptabilisée.
Indépendamment des problèmes de mesure, METR estime que GPT-5.6 Sol ne se situe pas très loin de l'état de l'art actuel et ne permettra pas une recherche en IA entièrement automatisée. En revanche, METR a salué OpenAI pour avoir détecté la triche grâce à une surveillance interne et pour l'avoir partagé ouvertement.
Le fait que ce comportement indésirable soit si évident est en réalité rassurant, selon METR, car cela signifie que des problèmes plus graves seraient également détectés. Mais METR a également averti : "Si les futurs modèles affichent beaucoup moins de tendances indésirables, nous pourrions devenir plus préoccupés par un désalignement catastrophique, car nous serions inquiets que les modèles aient appris à éviter la détection."
