Irene Solaiman, responsable des politiques chez Hugging Face, met en garde contre une confiance excessive dans les benchmarks actuels et dans les évaluateurs intégrés. Entre reproductibilité fragile, comparaisons incertaines et manque de standards, l’évaluation s’étend désormais à l’ensemble du système — harness et agents compris — avec des coûts et des angles morts accrus. Une approche plus uniforme pourrait s’imposer pour que le benchmarking reste pertinent.
Tester le système, pas seulement le modèle, renchérit et complique
Les évaluations ne se limitent plus au modèle seul, mais s'étendent à l'ensemble du système, incluant le harness et l'agent. Irene Solaiman souligne que le harness a une influence déterminante sur la performance : un modèle moins performant peut surpasser un modèle de pointe s'il bénéficie d'un meilleur harness. Elle estime que les évaluations agentiques sont particulièrement difficiles et coûteuses. Il existe aujourd'hui davantage d'évaluations pour les modèles que pour les harnesses, et de meilleures méthodes pour évaluer l'agent holistique sont en cours de développement. Le domaine de l'évaluation reste peu structuré, et une approche plus uniforme à l'échelle de l'industrie pourrait être nécessaire pour que le benchmarking conserve son utilité.
Évaluateurs intégrés : demande forte, neutralité contestée
L'idée d'évaluateurs intégrés, consistant à placer des observateurs tiers supposés neutres au sein des organisations d'IA, s'est popularisée ces derniers mois. Cette tendance fait suite à une série d'incidents de sécurité dans les laboratoires d'IA, qui ont ravivé les inquiétudes sur les dangers potentiels de ces technologies ; Hugging Face a d'ailleurs été concerné par l'un de ces incidents. Plutôt que de recourir à une régulation gouvernementale active pour identifier et atténuer les risques, plusieurs laboratoires ont plaidé pour des solutions tierces. Néanmoins, la question de l'impartialité et de la performance effective de ces évaluateurs continue de faire débat. Le choix d'Anthropic de sélectionner Accenture comme premier évaluateur a entraîné des critiques, certains observateurs jugeant qu'Accenture ne disposait pas des compétences requises pour ce rôle.
Vous codez avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Reproductibilité et comparabilité, talons d’Achille des benchmarks
Irene Solaiman estime que, pour que les tests soient fiables à l'avenir, ils doivent devenir une science plus cohérente, alors qu'il n'existe pas aujourd'hui de méthode significative pour comparer les évaluations entre elles. La confiance dans les résultats dépend avant tout de leur reproductibilité, qui nécessite un accès suffisant au modèle ; l'ouverture des poids joue ici un rôle important. La reproductibilité demeure l'un des aspects les plus délicats et débattus du benchmarking. Selon Solaiman, certaines évaluations deviennent rapidement inefficaces et l'écosystème n'est pas aussi développé que nécessaire, malgré une forte demande pour des évaluateurs intégrés. Les qualifications requises pour évaluer efficacement selon les tâches nécessitent davantage de standardisation. Elle rappelle enfin que les méthodes d'évaluation restent complexes et en maturation, alors même que de nombreux laboratoires d'IA fondent leur réputation sur des benchmarks présentés comme neutres et précis.
