Un brevet IBM déposé en 2016 pour analyser en direct une performance musicale assemble capteurs, agrégateur de retours, mémoire, indice de performance et boucle temps réel. Dix ans plus tard, cette architecture ressemble à un agent IA moderne, avec l’humain comme actuator. Ce regard rétrospectif détaille ce qui était juste, et les failles que la décennie a exposées.
Permissions absentes et mémoire sans oubli, des angles morts majeurs
La spécification ne mentionne ni consentement ni cadre d’accès alors qu’elle prévoit des caméras capables d’analyser les visages, d’utiliser des zooms pour cibler des personnes et d’exposer des flux de sentiments par individu. Le dépôt date de novembre 2016 ; dix-huit mois plus tard, le RGPD devenait applicable et aurait eu des implications sur ces choix. Côté données, la mémoire décrite était en ajout uniquement : la base croissait sans dégradation, expiration ni effacement prouvable, une approche perçue comme une fonctionnalité à l’époque. Vue aujourd’hui, une mémoire d’agent sans oubli conçu devient un passif, entre faits obsolètes et données personnelles sans cycle de vie. La rétention, la dégradation et l’effacement vérifiable relèvent d’une architecture, pas d’un nettoyage a posteriori. La contrainte de temps réel — au pire quelques secondes pour boucler — ne dispense pas de cette gouvernance. L’auteur indique consacrer désormais une large part de son activité à formaliser ce que l’IA est autorisée à observer, conserver et activer, et pour qui, avec application dans la couche de données.
La boucle, la mémoire et l’humain : des fondations qui tiennent
Plusieurs options de conception restent pertinentes. La valeur d’un tel système réside dans une boucle fermée qui perçoit, évalue et corrige, et non dans une inférence isolée. L’inférence doit s’ancrer dans une mémoire, faute de quoi le dispositif se réduit à un classificateur de sentiments déconnecté. Le traitement des preuves par provenance et par classe, en fusionnant des familles de signaux selon leur fiabilité, constitue une pratique adaptée. Enfin, l’humain est explicitement un composant de l’architecture : l’artiste agit comme actuator, et l’interface respecte attention, timing et charge cognitive, illustrée par la LED qui passe au vert, clignote en jaune ou vire au rouge selon la justesse et le tempo.
Une machine scénique en sept blocs sous contrainte de quelques secondes
Le système s’articule autour de sept parties. Des microphones et des capteurs présents dans les instruments effectuent la mesure du timing, de la hauteur, de l’intonation et du volume ; la spécification cite ces capteurs sous l’appellation 113a et inclut des options MIDI, tactiles, vibratoires, ultrasoniques, de pression ou encore infrarouges. Des caméras, adaptées à une faible luminosité et couvrant la salle de façon à obtenir un échantillon représentatif, enregistrent les expressions et les postures du public. Simultanément, les appréciations, « j’aime », « je n’aime pas » et commentaires sont transmis depuis les terminaux individuels vers un service web. Un agrégateur centralise ces données, attribue à chaque item une origine et une catégorie, les organise en flux par artiste puis les convertit pour permettre l’analyse ; il détermine ainsi les informations accessibles au moteur de raisonnement ainsi que leur ordre de présentation. Le moteur d’analyse déduit les propriétés de la performance en s’appuyant sur les exécutions antérieures et une base de connaissances, c’est-à-dire par la combinaison de mémoire épisodique et sémantique. Un indice de performance regroupe ensuite les tweets positifs, les « j’aime », les signaux émotionnels du visage, ceux du langage corporel et la précision mesurée objectivement pour produire un score normalisé, assorti d’un seuil et suivi au fil du temps. Un module de reporting restitue ces résultats à l’utilisateur humain sous forme de graphiques, de sentiments explicitement nommés, de suggestions ou encore à l’aide de LED intégrées à l’instrument. L’ensemble vise un aller‑retour idéalement sous la seconde, au pire en quelques secondes, et opère en itérations successives décrites de l’étape 200 à 280.
La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Ce que 2016 n’avait pas et ce que 2026 a inversé
En 2016, l’intelligence constituait le goulet d’étranglement : la « procédure d’analyse » reposait sur règles, ontologies et classificateurs, et agréger grimaces, tweets sarcastiques et flux MIDI en un jugement causal relevait surtout de l’aspiration. La boucle était juste, le raisonneur faible. Les modèles fondamentaux ont depuis inversé le tableau : les capacités de raisonnement sont fortes, mais la boucle, la mémoire et le contexte restent les maillons faibles de nombreux déploiements. La leçon est bilatérale : une architecture sans intelligence stagne, une intelligence sans architecture s’enlise.
Du support à la décision à l’agent, même diagramme, actuator humain
Le dispositif a été baptisé Analytics et son cœur nommé « moteur d’analyse intelligent artificiel ». Présenté alors comme un support à la décision, il correspond aujourd’hui à la définition d’un agent, avec un choix délibéré : l’actuation est confiée à l’artiste. Concrètement, dans un concert de rock, capteurs d’instrument, caméras et retours explicites du public sont fusionnés en un jugement en temps réel, puis restitués à l’artiste pour ajustement, y compris via des signaux minimalistes comme la LED à trois états sur le manche de la guitare.
