CEO-Bench : seuls trois IA surmontent le défi des 500 jours

CEO-Bench : seuls trois IA surmontent le défi des 500 jours

Trois modèles d'IA ont terminé au-dessus du capital de départ lors d'un test de survie de startup de 500 jours.

Des chercheurs de l'Université de Princeton ont conçu CEO-Bench, un test où des agents d'IA doivent gérer une entreprise de logiciels fictive pendant 500 jours simulés. La plupart des modèles actuels font faillite, et une simple heuristique basée sur des règles sans IA surpasse presque tous les autres.

Les agents d'IA s'améliorent dans des tâches spécifiques : corriger un bug, suivre une politique de service lors d'une conversation ou compléter un flux de travail en ligne. Ces tâches partagent une structure simple, selon l'étude de Princeton : l'agent reçoit un objectif clair, agit brièvement et reçoit un retour rapide. Cependant, de nombreuses tâches importantes dans le monde réel ne ressemblent pas à cela. Elles impliquent de longues chaînes de décisions sous incertitude, où il faut établir des priorités, allouer des ressources limitées, interpréter des signaux bruyants et s'adapter à des conditions changeantes.

Pour tester précisément ces compétences, les chercheurs ont développé CEO-Bench. Le benchmark simule un exemple réaliste de ce type de tâche à long terme : gérer une startup pendant 500 jours simulés.

Les chercheurs citent un exemple célèbre : en 1997, Apple était à 90 jours de la faillite. Steve Jobs a dessiné une simple grille deux par deux—consommateur et professionnel, bureau et portable—et a décidé qu'Apple ne construirait que des produits pour ces quatre quadrants. L'iMac, l'iPod et l'iPhone ont suivi.

Ce type d'intelligence stratégique est fondamentalement différent de ce que font les agents d'IA aujourd'hui, soutiennent les auteurs. Les agents s'améliorent rapidement dans des tâches individuelles. Mais diriger une organisation entière vers des objectifs à long terme ? C'est un problème totalement différent. CEO-Bench est une première tentative pour mesurer exactement cette "intelligence de pilotage".

Un PDG IA pour une entreprise de logiciels fictive

Dans CEO-Bench, un agent gère une entreprise de logiciels d'abonnement fictive appelée NovaMind. Elle commence avec zéro client et un million de dollars en banque. La performance est mesurée par la trésorerie restante à la fin. Si le solde tombe en dessous de zéro même une fois, l'entreprise fait faillite et la simulation se termine.

L'agent contrôle l'entreprise via une API Python avec 34 outils et une base de données de 19 tables. Au lieu de simplement émettre des commandes individuelles, il écrit son propre code, interroge la base de données avec SQL et construit des flux de travail personnalisés à partir des résultats. Cela le confronte aux mêmes défis qu'un PDG humain, selon les chercheurs.

Dans la simulation de startup de 500 jours, l'agent connecte les requêtes de base de données, les interactions avec les outils de gestion et les publications sur les réseaux sociaux avec les cycles de marché et les indicateurs de résultats tels que les résolutions de tickets, la croissance des abonnés, les annulations et la trésorerie disponible.

Des retours d'information retardés et des variables cachées rendent le test difficile

Ce qui rend la tâche difficile, c'est le temps et l'incertitude. Les décisions se déroulent sur des délais commerciaux réalistes : les revenus n'arrivent qu'aux dates de facturation, les projets de R&D prennent des jours à des semaines, et les erreurs ne se manifestent souvent que plus tard par le biais de désabonnements ou de dommages à la réputation. Les coûts se manifestent immédiatement. L'agent doit dépenser de l'argent dont le retour sur investissement pourrait ne pas se voir pendant des semaines.

Une grande partie de l'état de l'entreprise reste cachée. L'agent ne peut pas voir directement la satisfaction client, la volonté de payer ou les attentes minimales en matière de qualité. Il doit reconstituer ces éléments à partir de signaux bruyants tels que les annulations, les tickets de support ou les réactions sur le réseau social. La simulation modélise 26 segments de clients et des clients individuels, chacun avec ses propres budgets, sensibilités aux prix et attentes.

Le monde continue également de changer. Les concurrents augmentent périodiquement les attentes en matière de qualité des clients, les préférences évoluent avec le temps, et un cycle économique simulé affecte la demande et la volonté de payer, ce qui oblige l'agent à s'ajuster en permanence.

Les chercheurs ont délibérément choisi des règles fixes et transparentes plutôt qu'un modèle de langage comme arbitre. Ils voulaient éviter une faiblesse qu'ils voient dans Vending-Bench, un test avec une machine à vendre simulée : là, un fournisseur simulé par IA peut récompenser un agent pour des promesses verbales irréalistes.

La plupart des modèles font faillite

Parmi quatorze modèles testés, la plupart échouent à la tâche. Presque tous peuvent générer des commandes valides et des requêtes de base de données, mais aucun ne peut maintenir une stratégie cohérente dans le temps. Beaucoup font faillite avant la fin de la simulation.

Seuls trois modèles terminent leur meilleure course au-dessus du capital de départ d'un million de dollars : Claude Fable 5 à 47,15 millions de dollars, Claude Opus 4.8 à 27,8 millions de dollars, et GPT-5.5 à 21,3 millions de dollars. Claude Fable 5 est le seul modèle à dépasser le capital de départ lors de plusieurs courses.

Cependant, il y a un bémol. Une course de Fable 5 a été interrompue parce que le modèle a refusé de continuer, et dans les deux autres, certaines demandes sont revenues à Opus 4.8. GPT-5.5 a fait faillite dans deux de ses trois courses.

Dans la simulation de 500 jours, les modèles Claude atteignent jusqu'à 47,15 millions de dollars en trésorerie, suivis par GPT-5.5. Plusieurs agents font faillite avant la fin de la course.

La comparaison la plus révélatrice est avec une simple heuristique basée sur des règles qui n'appelle jamais un modèle de langage. Elle fixe des prix, des quotas et des niveaux, concentre la publicité et le développement ciblé sur un petit ensemble de segments de clients, et ajuste la capacité en fonction de l'utilisation récente. Cette heuristique atteint 15,76 millions de dollars, battant tous les modèles sauf Fable 5, Opus 4.8 et GPT-5.5.

Les chercheurs estiment également grossièrement la limite supérieure de la trésorerie finale réalisable à environ 2,2 milliards de dollars. Même les meilleurs agents restent loin de cet objectif. Le test n'est pas encore maximisé, affirment les auteurs.

L'exploration l'emporte sur la prudence

L'analyse des trajectoires de décision révèle des différences comportementales claires. GPT-5.5 et Claude Opus 4.8 continuent d'essayer de nouvelles stratégies à mesure que les conditions changent, que cela signifie intensifier l'acquisition de clients, ajuster les niveaux ou modifier les budgets de soutien et de R&D. Claude Opus 4.7, en revanche, répond principalement aux revers en réduisant les coûts et en préservant la trésorerie. Cette approche passive permet au modèle de survivre jusqu'à la fin, mais l'empêche de réaliser un profit.

Fait intéressant, Opus 4.8 et GPT-5.5 atteignent des résultats finaux similaires par des chemins très différents : Opus 4.8 acquiert plus de clients tôt, mais tombe à zéro clients au milieu de la simulation, tandis que GPT-5.5 maintient sa base de clients tout au long. Les deux écrivent un code étonnamment sophistiqué. Opus 4.8 construit sa propre simulation interne qui modélise les cohortes de clients pour prédire les flux de trésorerie futurs. GPT-5.5 explore l'historique des négociations dans la base de données pour découvrir les préférences cachées des clients.

Les chercheurs mesurent quatre capacités qui corrèlent avec le succès :

• Découverte d'informations cachées, comme quel canal publicitaire fonctionne le mieux pour un segment de clients donné,
• Prédiction de l'avenir, mesurée par l'erreur dans les prévisions de trésorerie sur quatre semaines,
• Adaptation rapide au changement, mesurée par la rapidité avec laquelle un modèle remarque un mouvement concurrent,
• Planification à l'avance, mesurée en partie par la fréquence à laquelle des scénarios si-alors apparaissent dans les notes de l'agent.

Sur ces quatre points, Opus 4.8 et GPT-5.5 obtiennent des scores supérieurs à la moyenne des autres modèles.

L'environnement des outils compte aussi

Une autre découverte concerne l'environnement logiciel que les agents utilisent pour agir. Les chercheurs ont également testé Claude Opus 4.7 avec Claude Code et GPT-5.5 avec Codex, deux assistants de codage populaires. Dans les deux cas, les agents ont agi beaucoup moins souvent et ont obtenu de moins bons résultats. Les chercheurs soupçonnent que les invites du système dans ces outils, qui sont ajustées pour le développement logiciel, en sont la cause.

Raccourcir l'horizon temporel ne résout pas non plus le problème. Lorsque la simulation est compressée à 50 jours, seul GPT-5.5 parvient à terminer avec un profit. La plupart des modèles, concluent les chercheurs, restent faibles pour coordonner les décisions même vers un objectif à court terme.

Les auteurs reconnaissent des limites dans leur configuration. Le produit est représenté par un seul score de qualité car ils n'ont trouvé aucun moyen fiable d'évaluer les changements qualitatifs du produit. La conformité, la sécurité et le financement sont laissés de côté pour rendre chaque course économiquement réalisable. Néanmoins, CEO-Bench expose un fossé entre la compétence locale des outils des modèles d'aujourd'hui et la capacité à relier des actions sur de longues périodes dans une stratégie cohérente, affirment-ils.