BioBasicsBench, un banc d'essai dédié au laboratoire humide, mesure l'interprétation de données expérimentales brutes par des agents d'IA sur 100 tâches. À effort de raisonnement élevé, GPT‑6 Astra atteint 66,7 % de crédit, contre 43,8 % pour GPT‑5.6 Sol. L'évaluation, menée sur 18 500 sorties et sept modèles, met en avant des progrès mais aussi des marges d'amélioration en vérification des contrôles et en lecture d'images.
Des écarts nets entre modèles à l’effort de raisonnement élevé
Au niveau d'effort de raisonnement « xhigh », GPT‑6 Astra obtient 66,7 % du crédit disponible, tandis que GPT‑5.6 Sol atteint 43,8 %. Les résultats indiquent des progrès dans l'analyse de laboratoire de routine, mais des améliorations restent nécessaires pour l'interprétation des images, la vérification des contrôles et l'application du contexte expérimental. GPT‑6 Astra se distingue par une meilleure reconnaissance des limites des données, une gestion multimodale renforcée et un maintien plus fiable du contexte biologique et expérimental. L'évaluation couvre 37 réglages de modèles et d'effort de raisonnement, pour un total de 18 500 résultats.
Ce que mesure le banc d’essai en laboratoire humide
BioBasicsBench porte sur 100 tâches classées dans cinq catégories : méthodes de protéines, imagerie et cytométrie, quantification et essais, méthodes d'acides nucléiques ainsi que clonage moléculaire. Ces tâches couvrent un éventail allant de lectures élémentaires, telles que la détermination du poids moléculaire d'un échantillon d'ADN sur gel, à des analyses d'essai approfondies, et concernent des manipulations courantes attendues d’un professionnel du laboratoire humide. Le protocole repose sur l’idée que des agents d’IA efficaces doivent être capables d’interpréter de manière fiable des résultats expérimentaux, dans un contexte où les échecs, les images difficiles à interpréter et les observations qui se contredisent sont monnaie courante. Les concepteurs estiment que les outils d'évaluation existants, souvent fondés sur des figures choisies pour des publications, ne restituent pas toujours ces ambiguïtés ni les exigences de résolution de problèmes qu'elles impliquent.
Vous voulez les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Construction des tâches et protocole d’évaluation
Des scientifiques ont conçu les tâches à partir de données provenant de leurs propres expériences, tandis que des experts ont rédigé les critères de notation. Chaque tâche a d'abord été vérifiée en interne par un scientifique de Ligo, puis examinée par un docteur spécialiste du laboratoire humide, avant une ultime relecture interne. Sept modèles ont été évalués : GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna et GPT‑6 Astra. L'évaluation s'étend sur 37 réglages combinant modèles et effort de raisonnement, avec cinq tentatives par tâche pour chacune des 100 tâches à chaque réglage, produisant au total 18 500 résultats.
Ambition affichée pour la recherche biologique
Les porteurs du projet qualifient BioBasicsBench de progrès dans l’évaluation de la capacité des agents d’IA à gérer les activités scientifiques courantes en laboratoire humide. Selon eux, une interprétation plus précise des données pourrait révolutionner la recherche en biologie et permettre aux chercheurs de formuler des conclusions plus solides. Ils déclarent vouloir que l’intelligence artificielle générale serve l’humanité en accélérant la compréhension des maladies et la mise au point de nouveaux traitements.
