Google Stax : Tester des modèles et des prompts selon vos propres critères

Google Stax : Tester des modèles et des prompts selon vos propres critères

Si vous développez des applications avec des modèles de langage de grande taille (LLMs), vous avez probablement déjà rencontré ce scénario où vous modifiez un prompt, l'exécutez plusieurs fois, et l'output semble meilleur. Mais est-il réellement meilleur ? Sans métriques objectives, vous êtes coincé dans ce que l'industrie appelle désormais le "test de ressenti", ce qui signifie prendre des décisions basées sur l'intuition plutôt que sur des données.

Le défi provient d'une caractéristique fondamentale des modèles d'IA : l'incertitude. Contrairement aux logiciels traditionnels, où la même entrée produit toujours la même sortie, les LLMs peuvent générer des réponses différentes à des prompts similaires. Cela rend les tests unitaires conventionnels inefficaces et laisse les développeurs dans le flou quant à savoir si leurs modifications ont réellement amélioré les performances.

C'est alors qu'est arrivé Google Stax, un nouvel outil expérimental de Google DeepMind et Google Labs conçu pour apporter de la précision à l'évaluation de l'IA. Dans cet article, nous examinons comment Stax permet aux développeurs et aux scientifiques des données de tester des modèles et des prompts selon leurs propres critères personnalisés, remplaçant ainsi les jugements subjectifs par des décisions répétables et basées sur des données.

Comprendre Google Stax

Stax est un outil pour développeurs qui simplifie l'évaluation des modèles et des applications d'IA générative. Pensez-y comme à un cadre de test spécifiquement conçu pour les défis uniques liés aux LLMs.

Au cœur de Stax se trouve une question simple mais cruciale : comment savoir si un modèle ou un prompt est meilleur qu'un autre pour votre cas d'utilisation spécifique ? Plutôt que de s'appuyer sur des critères généraux qui peuvent ne pas refléter les besoins de votre application, Stax vous permet de définir ce que signifie "bon" pour votre projet et de mesurer par rapport à ces normes.

Explorer les capacités clés

• Il aide à définir vos propres critères de succès au-delà de métriques génériques comme la fluidité et la sécurité.
• Vous pouvez tester différents prompts sur divers modèles côte à côte.
• Vous pouvez prendre des décisions basées sur des données en visualisant les métriques de performance recueillies, y compris la qualité, la latence et l'utilisation des tokens.
• Il peut exécuter des évaluations à grande échelle en utilisant vos propres ensembles de données.

Stax est flexible, prenant en charge non seulement les modèles Gemini de Google, mais aussi GPT d'OpenAI, Claude d'Anthropic, Mistral, et d'autres via des intégrations API.

Aller au-delà des benchmarks standards

Les benchmarks d'IA généraux ont un but important, comme aider à suivre les progrès des modèles à un niveau élevé. Cependant, ils échouent souvent à refléter les exigences spécifiques à un domaine. Un modèle qui excelle dans le raisonnement en domaine ouvert peut mal performer sur des tâches spécialisées telles que :

• Résumé axé sur la conformité
• Analyse de documents juridiques
• Questions-réponses spécifiques à l'entreprise
• Respect de la voix de la marque

L'écart entre les benchmarks généraux et les applications réelles est là où Stax apporte de la valeur. Il vous permet d'évaluer les systèmes d'IA en fonction de vos données et de vos critères, et non de scores globaux abstraits.

Commencer avec Stax

Étape 1 : Ajouter une clé API

Pour générer des sorties de modèle et exécuter des évaluations, vous devrez ajouter une clé API. Stax recommande de commencer avec une clé API Gemini, car les évaluateurs intégrés l'utilisent par défaut, bien que vous puissiez les configurer pour utiliser d'autres modèles. Vous pouvez ajouter votre première clé lors de l'intégration ou plus tard dans les paramètres.

Pour comparer plusieurs fournisseurs, ajoutez des clés pour chaque modèle que vous souhaitez tester ; cela permet une comparaison parallèle sans changer d'outil.

Étape 2 : Créer un projet d'évaluation

Les projets sont l'espace de travail central dans Stax. Chaque projet correspond à une expérience d'évaluation unique, par exemple, tester un nouveau prompt système ou comparer deux modèles.

Vous aurez le choix entre deux types de projets :

• Établir une performance de référence ou tester une itération d'un modèle ou d'un prompt système.
• Comparer directement deux modèles ou prompts différents tête-à-tête sur le même ensemble de données.

Étape 3 : Construire votre ensemble de données

Une évaluation solide commence par des données précises qui reflètent vos cas d'utilisation réels. Stax propose deux méthodes principales pour y parvenir :

Option A : Ajouter des données manuellement dans le Prompt Playground

Si vous n'avez pas d'ensemble de données existant, construisez-en un à partir de zéro :

• Sélectionnez le(s) modèle(s) que vous souhaitez tester.
• Définissez un prompt système (facultatif) pour définir le rôle de l'IA.
• Ajoutez des prompts utilisateurs qui représentent de réelles entrées utilisateur.
• Fournissez des évaluations humaines (facultatif) pour créer des scores de qualité de référence.

Chaque entrée, sortie et évaluation est automatiquement enregistrée comme un cas de test.

Option B : Télécharger un ensemble de données existant

Pour les équipes disposant de données de production, téléchargez directement des fichiers CSV. Si votre ensemble de données n'inclut pas les sorties du modèle, cliquez sur "Générer des sorties" et sélectionnez un modèle pour les générer.

Meilleure pratique : Incluez les cas limites et les exemples conflictuels dans votre ensemble de données pour garantir des tests complets.

Évaluer les sorties de l'IA

Effectuer une évaluation manuelle

Vous pouvez fournir des évaluations humaines sur des sorties individuelles directement dans le playground ou sur le benchmark du projet. Bien que l'évaluation humaine soit considérée comme le "standard d'or", elle est lente, coûteuse et difficile à mettre à l'échelle.