Google Research publie Harness² sous Apache 2.0. Le cadre ajuste prompts, outils, mémoire et scripts pour améliorer un agent sans toucher aux poids du modèle. Des gains « jusqu’à » +11,8 points sont rapportés sur des benchmarks, et une démo gratuite illustre des corrections documentées étape par étape.
Des gains « jusqu’à » +11,8 points sur des tâches variées
Google a procédé à l’évaluation de GLM-5 et Gemini 3.5 Flash. Les tests ont été menés sur quatre associations modèle–harness et trois benchmarks, en appliquant une unique étape k = 1, ce qui a permis d’améliorer les deux modèles par rapport à leurs harness d’origine. Le gain maximal mentionné s’élève à +11,5 points sur des tâches de bureautique, web et programmation. Sur une tâche juridique provenant de Harvey's harvey-labs, le gain le plus élevé atteint +11,8 points en taux de passage partiel. Pour des tâches professionnelles, le gain maximal observé est de +4,5 points. Ces chiffres représentent des maxima et non des valeurs moyennes, et le score LAB indiqué correspond à un score partiel. Le README précise qu’une valeur de k supérieure permet d’obtenir des gains additionnels, et l’article scientifique présente des résultats détaillés par configuration.
Des modifications lisibles et conservées dans des fichiers
Harness² enregistre chaque amélioration sous forme de fichiers comme des prompts réécrits, des scripts corrigés ou des barrières de sécurité. Ces changements, constitués de texte et de code, sont consultables et comparables à l’original, et le cadre consigne les raisons d’adoption. L’exécuteur et l’améliorateur se définissent par des identifiants de modèle dans un fichier de configuration, avec des associations possibles comme GLM-5 ou Gemini 3.5 Flash en agents et Vertex Gemini ou Claude comme améliorateur. Le raffinement a lieu sans clé de réponse, grâce aux contrastes entre exécutions. Cette approche contourne la nécessité habituelle de données d’entraînement, de GPU et d’un accès aux poids, souvent absents pour des équipes qui consomment des modèles via API.
Deux boucles de récursion pour affiner tâches et méthode
Le nom Harness² renvoie à deux boucles. La première améliore le harness pour la tâche en cours avec un cycle Proposer, Explorer, Composer : un éditeur suggère des modifications invariantes et spécifiques, l’agent réexécute la tâche avec chaque variante, puis un compositeur fusionne ce qui a aidé. Le cadre apprend des contrastes comportementaux sans vérité de base et n’a pas besoin de la réponse correcte. La seconde boucle stocke, via un réflecteur d’expérience, le harness adopté et des leçons étayées dans un harness d’amélioration persistant, qui guide la tâche suivante. La démo montre des fichiers laissés par ces deux boucles.
Vous codez avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Parallèle ou séquentiel : un budget k qui fixe le coût
La boucle de tâche peut être exécutée avec un budget k et un mode. En mode parallèle, k candidats invariants et k spécifiques sont proposés, suivis de k compositions indépendantes pour une exploration large. En mode séquentiel, k étapes Proposer–Explorer–Composer s’enchaînent en portant le harness affiné pour un approfondissement. Chaque tâche implique 4k exécutions d’exécuteur et 3k sessions d’amélioration via run_sweep.py ; par exemple, --k 3 entraîne 12 exécutions et 9 sessions par tâche. Le benchmark LAB comprend 1 143 tâches.
Publication open source et périmètre fonctionnel du cadre
Google Research met à disposition Harness² sous licence Apache 2.0, accompagné d’un article intitulé « Harness²: Recursive Agent Harnessing for an Open World » et d’un site de projet, la sortie étant déjà commentée sur X. Le cadre est conçu pour améliorer des agents sans procéder à un nouvel entraînement du modèle, en agissant sur l’environnement plutôt que sur les poids. Il agit sur les prompts, les outils, la mémoire et les scripts, et peut modifier les actions de l’agent, ses instructions permanentes, des règles d’action, des notes à long terme, des instructions réutilisables, l’utilisation d’outils, du code d’assistance, des sous-agents ainsi qu’un middleware. D’après le README, les premiers éléments constituent le contexte du modèle ; l’orientation des outils et les scripts déterminent l’interface d’outils ; la délégation est assurée par des sous-agents ; des plugins prennent en charge le middleware ; l’ensemble couvre la quasi-totalité du comportement de l’agent hors modèle. L’automatisation conserve les poids inchangés, sans recourir à du fine-tuning ni à l’ajout de nouvelles données. Un harness regroupe prompts, outils, mémoire, compétences et orchestration ; l’optimisation manuelle a ses limites dans des environnements ouverts. Les améliorations apprises sont transférées à la tâche suivante.
Une démo gratuite montre la correction d’un bug comptable
La démo propose les deux modes de récursion avec des éditeurs déterministes et des exécutions Python réelles, sans référence de modèle et gratuitement. Elle nécessite Linux (ou WSL sous Windows, VM ou conteneur Linux sous macOS), Python 3.12 avec prise en charge mentionnée de 3.13, et uv d’Astral. Après installation d’uv, clonage du dépôt GitHub et création d’un environnement virtuel 3.12, l’installation en mode éditable avec l’option [render] ajoute openpyxl et python-pptx et expose des commandes de la suite harness2. La commande harness2-demo --output runs/demo --k 2 lance la récursion ; sans --mode, les modes parallèle et séquentiel sont joués. Un exemple montre deux tâches de comptabilité (ledger-1 et ledger-2) réussies, avec un demo.json récapitulant 2 tâches complétées et 0 échouée. Le harness de départ comporte un bug dans scripts/summarize.py qui additionne uniquement les montants positifs. Pour un livre de comptes à trois lignes dont l’une est négative, le script initial affiche 105,25 alors que le script utilisé par Harness² affiche 85,15, soit 100,25 − 20,10 + 5,00. Le cadre a retiré le filtre sans connaître le résultat correct et a enregistré une expérience adoptée (c1), mentionnant 1 script et 62 caractères constamment actifs, avec justification, modification sur scripts/summarize.py, observation, leçon transférable, preuve et un niveau de confiance élevé.
