Google déploie un cadre unifié pour suivre, gouverner et évaluer les agents IA dans BigQuery et Looker. Certaines briques sont en disponibilité générale, d’autres en aperçu, avec des garde-fous de confidentialité, des plafonds de coûts et des outils d’évaluation open source destinés aux agents natifs et personnalisés.
Évaluer avant déploiement et rapprocher des logs de production
L’outil open source Prism permet de tester les agents d’analytique conversationnelle via l’API, qu’ils s’appuient sur des tables BigQuery ou des explorations Looker. Il gère des suites de tests réutilisables et des assertions regex, ainsi que la découverte d’agents multi‑régions derrière une couche d’accès telle que Cloud IAP. Prism peut diffuser des exécutions d’évaluation dans des tables BigQuery partitionnées par jour, plaçant les scores de benchmark avant déploiement à côté des journaux agent_events de production pour une analyse conjointe dans BigQuery et Looker. Parallèlement, des évaluations d’agents de première partie dans BigQuery sont disponibles en aperçu via l’API et un notebook Colab guidé, en s’appuyant sur le service d’évaluation de la plateforme d’agents Gemini Enterprise avec prise en charge d’un compte de service propre au client.
Protéger les données tout en retraçant le raisonnement des agents
Les administrateurs peuvent activer Cloud Monitoring et Cloud Trace à l’échelle d’un projet ou d’une organisation. Cloud Monitoring fournit des métriques agrégées telles que volumes de requêtes, latence et usage des jetons, tandis que Cloud Trace offre des spans étape par étape pour chaque requête, avec des portées d’observabilité pour agréger plusieurs projets. Par défaut, les métriques et spans 1P assainis excluent prompts, réponses, pensées internes et SQL généré, ce qui permet de séparer télémétrie opérationnelle et contenu. Si un audit plus fin est nécessaire, la journalisation des conversations peut être activée par agent : prompts, réponses et télémétrie par tour sont diffusés vers la table BigQuery agent_events via l’API BigQuery Storage Write, en héritant des permissions IAM, des clés CMEK et des contrôles VPC Service Controls. Des garde‑fous appliquent une vérification fail‑closed à chaque tour et sautent la journalisation en présence de sécurité par ligne, balises de politique par colonne ou masquage dynamique ; une exécution fail‑open maintient les sessions en cas d’erreur.
Un cadre de télémétrie unifié couvre agents de données et personnalisés
Un cadre de télémétrie unifié couvre désormais agents de données 1P et agents personnalisés. Les agents d’analytique conversationnelle émettent automatiquement de la télémétrie, et les flux agent‑à‑agent vers des agents BigQuery dans Gemini Enterprise inscrivent des métriques Cloud Monitoring, des spans Cloud Trace et des journaux de conversation dans le projet concerné. Les agents bâtis avec ADK ou LangGraph peuvent, en une ligne d’instrumentation, diffuser la même télémétrie structurée vers BigQuery. Les prompts et réponses issus de la journalisation 1P sont stockés dans des tables BigQuery appartenant au client. L’API d’analytique conversationnelle est proposée en disponibilité générale, avec des journaux d’audit administratifs systématiquement actifs et des journaux d’audit de lecture pouvant être activés en option, tout en assurant la compatibilité avec VPC Service Controls, CMEK, ainsi qu’avec la résidence régionale ou multi‑régionale des données. BigQuery Studio propose des tableaux de bord prédéfinis portant sur l’utilisation, les sessions actives, les sources de connaissances et la latence. Dans Looker (Google Cloud core et original), les tableaux d’activité système, en disponibilité générale, suivent l’engagement et l’usage des jetons, tandis que l’onglet Réponses et retours offre en aperçu des évaluations d’utilisateurs et la révision des requêtes. Il est aussi possible de créer des rapports avec un modèle Data Studio open source ou de déployer un Looker Block prêt à l’emploi.
Vous voulez les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
FinOps des jetons : suivi détaillé, tableaux natifs et plafonds actifs
Des offres tarifaires promotionnelles concernent l’analytique conversationnelle, permettant ainsi la mise en place de garde‑fous. À chaque tour de conversation, BigQuery consigne les nombres de jetons d’entrée, de sortie, de pensée, de cache ainsi que le total, en plus de la latence. Les tableaux d’activité système dans Looker fournissent une estimation des jetons d’entrée et de sortie pour les charges BI, tandis que l’onglet de surveillance de BigQuery Studio permet de visualiser l’usage prévu et l’engagement. Les données agent_events peuvent être exploitées en SQL et présentées sous forme graphique à l’aide d’un modèle Data Studio open source de sept pages ou via une application Streamlit hébergée par l’utilisateur. Afin d’éviter des frais imprévus, des limites big_query_max_billed_bytes par requête, basées sur des dry‑runs, permettent de bloquer les analyses trop volumineuses sans entraîner de facturation à la demande. En aperçu, des quotas quotidiens de jetons d’entrée et de sortie s’appliquent par projet, utilisateur ou agent, configurables dans la console Google Cloud et via gcloud CLI.
Diagnostic dans l’entrepôt et instrumentation des agents personnalisés
Les développeurs d’agents personnalisés sur ADK ou LangGraph peuvent utiliser le plugin open source BigQueryAgentAnalyticsPlugin ; une configuration en une ligne permet de diffuser arbres d’exécution complets, télémétrie temporelle et charges multimodales vers BigQuery. Les journaux atterrissant nativement dans agent_events, aucun export supplémentaire n’est requis pour diagnostiquer les échecs. Des fonctions AI BigQuery comme AI.GENERATE ou AI.EMBED avec VECTOR_SEARCH servent au résumé d’erreurs et au regroupement d’incidents, tandis que le SDK Python bigquery‑agent‑analytics et un notebook Colab facilitent la détection de dérives sémantiques post‑hoc et l’analyse de sentiment. Google recommande d’ajouter le SDK aux agents, de lancer le modèle de rapport Data Studio open source ou l’app Streamlit et d’explorer l’analyse dans l’entrepôt avec un notebook Colab. Il préconise aussi d’exécuter des suites d’exactitude automatisées avec Prism, puis de configurer des plafonds de scan et des quotas quotidiens de jetons. Pour les agents 1P, l’activation de Cloud Monitoring et Cloud Trace, l’opt‑in de la journalisation des conversations et le suivi de la consommation de jetons BI via Looker sont indiqués.
