Brief IA : MedChemBench évalue l’IA sur 99 problèmes de chimie médicinale

MedChemBench évalue l’IA sur 99 problèmes de chimie médicinale

Brief IA
Tom Levy·3 min

MedChemBench évalue le raisonnement en chimie médicinale avec 99 problèmes. GPT‑6.2 Astra obtient 84,5 % du crédit disponible au réglage maximal. Une exposition préalable des modèles aux recherches utilisées ne peut pas être exclue.

En bref
1MedChemBench évalue le raisonnement en chimie médicinale avec 99 problèmes.
2GPT‑6.2 Astra obtient 84,5 % du crédit disponible au réglage maximal.
3Une exposition préalable des modèles aux recherches utilisées ne peut pas être exclue.
Pourquoi c'est important : le référentiel teste la mise en relation des structures moléculaires avec les données expérimentales, sans démontrer une capacité à découvrir des médicaments.

MedChemBench évalue les modèles d’IA sur 99 problèmes de chimie médicinale. GPT‑6.2 Astra obtient 84,5 % du crédit disponible au réglage de raisonnement maximal. Ces résultats ne démontrent toutefois pas une capacité à découvrir des médicaments.

PRMT5 confronte les modèles aux compromis moléculaires

Inhiber une protéine avec davantage d’efficacité ne suffit pas à rendre un composé préférable. Un exercice consacré à PRMT5, protéine étudiée dans la recherche anticancéreuse, demande de prévoir le comportement de trois composés apparentés à partir de leurs structures et de données expérimentales antérieures. Les prédictions portent sur l’inhibition dans les cellules, le franchissement d’une barrière cellulaire et la vitesse de dégradation par des enzymes du foie lors d’un essai de laboratoire.

Les résultats d’expériences ultérieures ne sont pas communiqués aux modèles. Ils montrent que le composé 23 inhibait PRMT5 à moindre concentration dans les cellules, tandis que le composé 24 franchissait mieux la barrière et résistait davantage à la dégradation enzymatique. L’exercice vérifie donc le lien établi entre une structure et plusieurs comportements, plutôt qu’une propriété isolée.

Ces arbitrages font partie du travail des chimistes médicinaux, qui élaborent, synthétisent puis testent des molécules apparentées avant de choisir la suite des expériences. Une amélioration peut s’accompagner d’une dégradation ailleurs : un composé très actif contre une protéine associée à une maladie peut, par exemple, être peu absorbé ou se décomposer trop rapidement dans l’organisme.

GPT‑6 Astra réussit un assemblage moléculaire exigeant

La représentation de la molécule constitue un autre volet de l’évaluation. Les schémas chimiques indiquent les liaisons entre atomes, les cycles ainsi que la stéréochimie. Le référentiel vérifie que ces informations sont conservées lorsqu’un modèle reconstruit un composé à partir d’un dessin et de groupes chimiques.

La lettre du soirGratuit · 19 h

Vous suivez la course aux modèles IA ?

Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Un exercice impose ainsi de réunir un noyau central et deux groupes tout en maintenant un cycle comprenant 18 atomes. Au niveau xhigh, réglage maximal commun aux onze modèles de cet exemple, GPT‑6 Astra a correctement reconstruit le composé dans les dix réponses. GPT‑5.6 Sol comme GPT‑5.6 Luna ont échoué à chacune des dix réponses ; ces erreurs changent la molécule effectivement représentée.

GPT‑6 Astra a obtenu les meilleurs résultats pour la reconstruction moléculaire et l’explication des données expérimentales. Choisir les composés et anticiper les valeurs numériques de leurs propriétés lui a posé davantage de difficultés.

Les scores reposent sur des recherches déjà publiées

Le corpus réunit 117 articles et brevets, avec 761 structures moléculaires distinctes. Pour la majorité des exercices, le modèle reçoit les informations accessibles à une étape du programme scientifique : cible biologique, objectifs poursuivis, molécules déjà examinées et certains résultats d’expériences. Outre la reconstruction, la notation porte sur la justification scientifique, le classement et le choix des composés, ainsi que la concordance des prédictions avec des catégories ou valeurs de propriétés mesurées ou calculées.

Au réglage de raisonnement maximal, GPT‑6 Astra a obtenu 83,3 % du crédit disponible, GPT‑6.1 Sol 82,0 % et GPT‑5.6 Sol 58,2 %. Chaque réponse correspond à un essai unique, sans recours à des outils, sans retour correctif et sans expérience supplémentaire.

Il reste possible que les modèles aient déjà été exposés aux sources publiées employées. Le test évalue un raisonnement fondé sur des données historiques plutôt que la découverte de médicaments en conditions réelles : ses résultats ne permettent pas d’établir si les modèles sont capables de découvrir de nouveaux médicaments ou d’améliorer les décisions au laboratoire.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires