Tu codes avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Microsoft innove avec ASSERT pour les tests IA
Les chercheurs et laboratoires en intelligence artificielle ont réalisé des progrès notables dans l'évaluation des modèles d'IA, qu'il s'agisse de sécurité, de conformité, de servilité ou d'alignement. Cependant, un besoin spécifique émerge pour les entreprises et développeurs : garantir que leur système d'IA fonctionne comme prévu pour leur produit ou service particulier.
Pour simplifier ce processus, Microsoft a dévoilé mardi ASSERT, qui signifie Adaptive Spec-driven Scoring for Evaluation and Regression Testing. Ce cadre open source vise à faciliter l'évaluation du comportement d'IA spécifique à une application en utilisant l'intelligence artificielle pour transformer des descriptions en langage naturel de buts, de politiques ou de comportements souhaités en tests complets et notés.
Fonctionnalités d'ASSERT
ASSERT prend des descriptions en langage clair du comportement et des politiques attendus d'un modèle d'IA, les transforme en un ensemble structuré de comportements acceptables et inacceptables, génère des scénarios problématiques et des cas de test, les exécute contre le système cible et note les résultats. Il peut également enregistrer les chemins empruntés par le système d'IA, y compris les actions intermédiaires et les appels d'outils, afin que les développeurs puissent inspecter les points de défaillance.
Les développeurs ont la possibilité de fournir un contexte système, des outils et des contraintes s'ils souhaitent personnaliser davantage ce que les évaluations couvrent. Par exemple, un développeur pourrait spécifier qu'un agent d'IA pour la recherche de documents ne doit pas envoyer d'e-mails à des personnes extérieures à l'entreprise, qu'il doit limiter les informations confidentielles aux cadres supérieurs et fournir des résumés concis en tenant compte du contexte préalable. ASSERT utilisera ces règles pour générer des cas de test qui vérifient si le système respecte ces règles de manière continue.
Un outil comblant une lacune
Selon Microsoft, ce cadre comble une lacune que les évaluations plus larges et générales ne peuvent pas remplir lorsque les modèles d'IA sont censés se comporter d'une manière façonnée par le contexte, les politiques et les outils d'une application ou d'un produit. Sarah Bird, directrice des produits pour l'IA responsable chez Microsoft, a déclaré : « L'une des choses que nous avons apprises est que les évaluations sont absolument critiques pour prendre de bonnes décisions. Parce que si vous ne comprenez pas le comportement du système d'IA, il est vraiment difficile de savoir s'il répond aux exigences de votre organisation… Ce que nous avons constaté, c'est que si vous voulez vraiment avoir un système de confiance, vous devez évaluer beaucoup plus de dimensions qui sont spécifiques à l'application. »
Bird a ajouté qu'ASSERT peut être utilisé pour évaluer les systèmes lors de leur construction, après leur déploiement et même pour un suivi continu. Cette flexibilité permet aux développeurs de s'assurer que leurs systèmes d'IA restent conformes aux attentes tout au long de leur cycle de vie.
Contexte et perspectives
Cette annonce intervient dans un contexte de changement graduel mais plus large dans l'industrie de l'IA. À mesure que les modèles deviennent plus capables, les chercheurs se concentrent sur des tests répétables et des vérifications de régression. Des initiatives comme HELM de Stanford, AILuminate de MLCommons et des groupes d'évaluation comme METR mettent en place des références pour mesurer le comportement des modèles dans différentes conditions. Ces efforts visent à établir des normes pour garantir que les systèmes d'IA se comportent de manière fiable et conforme aux attentes.
