Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Le code, pilier du raisonnement des agents IA
Une étude récente menée par des chercheurs de l'Université de l'Illinois Urbana-Champaign, en collaboration avec Meta et Stanford, met en lumière un changement fondamental dans la manière dont les agents d'intelligence artificielle (IA) opèrent. Selon cette recherche, le code informatique ne se limite plus à être un simple produit des IA, mais devient le fondement même de leur capacité à raisonner, agir et interagir.
Ce changement est en grande partie attribué à une couche logicielle innovante appelée le "harness". Ce système fournit aux agents IA des outils et des environnements isolés, les transformant de modèles sans état en systèmes dynamiques capables de planification, d'exécution et de test dans un cycle continu.
Le rôle crucial du "harness"
Des systèmes commerciaux tels que Claude Code et Codex d'OpenAI exploitent déjà cette approche. Cependant, les auteurs de l'étude mettent en garde contre une confiance excessive dans ces systèmes. En effet, les méthodes actuelles de test logiciel sont souvent incomplètes, ce qui peut masquer des risques potentiels. Ainsi, des mécanismes d'évaluation plus transparents et rigoureux sont nécessaires pour garantir la fiabilité de ces systèmes.
Pourquoi le code est essentiel pour les agents IA
Les auteurs de l'étude soulignent plusieurs raisons pour lesquelles le code est devenu une composante essentielle du comportement des agents IA :
- Exécutabilité : Le code permet de transformer les sorties des modèles en opérations vérifiables.
- Traçabilité : Les calculs intermédiaires peuvent être suivis à travers des traces structurées, ce qui facilite la lecture et le stockage des données par le système.
- Persistance : Le code en cours d'exécution enregistre les progrès des tâches, permettant aux agents de reprendre là où ils se sont arrêtés.
L'article divise les systèmes d'agents à long terme en trois composantes principales : les capacités intrinsèques du modèle (comme le raisonnement et la planification), l'infrastructure fournie par le système, et le code généré par l'agent lui-même, allant des scripts de test aux compétences réutilisables.
Trois niveaux d'organisation du code
Le premier niveau d'organisation du code relie le modèle à son environnement. Des méthodes comme Program-of-Thoughts ou Chain of Code externalisent les calculs vers des programmes exécutables, au lieu de simplement les décrire en langage naturel. D'autres systèmes, tels que Code as Policies, convertissent directement les instructions en langage naturel en code de contrôle pour robots.
La fiabilité de ces systèmes repose sur des transitions d'état clairement régulées dans une boucle contrôlée autour du modèle.
Maintenir la fiabilité des agents IA
Le deuxième niveau concerne la fiabilité des agents à travers de nombreuses étapes. Cela inclut la planification, la mémoire, l'utilisation d'outils et un cycle récurrent de planification, d'exécution et de vérification. Ce cycle remplace le dépannage ponctuel par des vérifications systématiques.
Le troisième niveau se concentre sur la collaboration entre plusieurs agents. Les collections de code, les tests et les journaux d'exécution deviennent un espace de travail partagé où des rôles spécialisés, tels que gestionnaires, planificateurs, codeurs, réviseurs et testeurs, se répartissent le travail.
Des exemples concrets de l'industrie
Les auteurs citent des exemples de produits commerciaux qui suivent ce modèle. Claude Code d'Anthropic intègre le terminal local, l'environnement de développement et le navigateur en un flux de travail unique, où l'agent édite des fichiers, exécute des commandes et doit respecter des règles de permission. Les agents de codage de Codex d'OpenAI et de GitHub Copilot déplacent des flux de travail similaires vers des environnements cloud gérés, regroupant les modifications à travers des sorties de demandes de tirage traçables.
L'importance de cette couche a été mise en évidence de manière inattendue lorsque Anthropic a accidentellement divulgué environ 500 000 lignes de code source de Claude Code. Parmi ces lignes se trouvait une fonction de "rêve" pour la consolidation des tâches et d'autres astuces pour diriger les modèles en tant qu'agents de codage.
L'avenir du "harness" dans les systèmes IA
D'autres laboratoires d'IA commencent à prendre conscience de l'importance du "harness". Deepseek prévoit de rivaliser avec Claude Code et Codex avec son propre produit, Deepseek Code, et construit une équipe dédiée au "Harness" à Pékin pour gérer tout ce qui dépasse le modèle, de l'utilisation d'outils à la planification en passant par le stockage.
Optimisation et défis du "harness"
Plusieurs systèmes de recherche s'intéressent à l'optimisation du harness lui-même. AutoHarness génère automatiquement du code qui filtre les actions non autorisées, tandis que Meta-Harness explore systématiquement de meilleures variantes de harness en utilisant les versions précédentes, leurs évaluations et les journaux d'exécution comme espace de recherche.
Cependant, les auteurs soulignent plusieurs problèmes ouverts qui freinent le domaine : des évaluations plus significatives au-delà des taux de succès bruts, la vérification de la substance des résultats lorsque les tests seuls ne suffisent pas, l'amélioration autonome du harness sans régressions, l'état partagé entre plusieurs agents, la supervision humaine, et l'extension à des environnements avec des données d'image ou de capteur comme les agents GUI et les robots.
Ils insistent particulièrement sur la nécessité de revoir les critères de test actuels. Les tests peuvent être incomplets, et les programmes de test pour les interfaces graphiques peuvent manquer de mauvaises étapes intermédiaires. Les simulateurs masquent des risques physiques. Un harness pourrait engendrer une fausse confiance précisément parce qu'il fournit un retour visible, et le coche verte ne signifie pas que le code est sûr. Les auteurs suggèrent que chaque action acceptée devrait être accompagnée de documents précisant quels tests ont réellement été effectués, quelles zones sont restées non testées et quels risques demeurent.
La fiabilité des agents de codage autonomes ne provient pas de meilleures invites de réparation, mais de transitions d'état étroitement régulées dans une boucle contrôlée autour du modèle, soutiennent les chercheurs.
