Meta et TRIBE v2 : l'IA qui prédit vos réactions cérébrales

Meta et son modèle d'IA prédictif TRIBE v2

Meta a récemment dévoilé TRIBE v2, un modèle d'intelligence artificielle novateur capable de prédire la manière dont le cerveau humain réagit à divers stimuli, qu'ils soient visuels, auditifs ou linguistiques. Ce modèle, qui s'appuie sur des données d'imagerie par résonance magnétique fonctionnelle (IRMf), a démontré une capacité à surpasser la précision des mesures individuelles pour anticiper les réponses cérébrales.

Lors de tests rigoureux, TRIBE v2 a réussi à reproduire des résultats établis en neurosciences, comme l'identification précise des zones cérébrales dédiées au traitement des visages, des lieux et du langage. Cette avancée pourrait potentiellement réduire le temps et les ressources nécessaires aux recherches en laboratoire sur le cerveau.

Cependant, TRIBE v2 n'est pas exempt de limitations. Il perçoit le cerveau comme un simple récepteur passif et ne prend en compte que trois types de stimuli sensoriels. De plus, il est tributaire de la résolution temporelle relativement lente de l'IRMf. Meta a néanmoins décidé de rendre le code source, les poids du modèle et une démonstration interactive accessibles gratuitement au public.

Un modèle d'IA formé sur des données massives

Le développement de TRIBE v2 repose sur une vaste base de données, avec plus de 1 000 heures de données d'IRMf provenant de 720 participants. L'IRMf est une technique qui mesure indirectement l'activité cérébrale en suivant les variations du flux sanguin et des niveaux d'oxygène. Grâce à ces informations, TRIBE v2 est conçu pour prédire la réaction du cerveau à tout type de stimulus visuel, auditif ou linguistique.

Trois modèles pour le prétraitement des données

TRIBE v2 utilise trois types d'entrées : vidéo, audio et texte. Chaque type de données est d'abord traité par un modèle d'IA pré-entraîné de Meta : Llama 3.2 pour le texte, Wav2Vec-Bert-2.0 pour l'audio, et Video-JEPA-2 pour la vidéo. Ces modèles transforment les données brutes en représentations numériques, ou embeddings, qui capturent les éléments visibles, audibles ou lisibles.

Un transformateur traite ensuite ces représentations conjointement, identifiant des motifs communs à travers différents stimuli, tâches et individus. Une couche finale spécifique à chaque sujet traduit ces informations en une carte cérébrale composée de 70 000 voxels, les unités de mesure tridimensionnelles utilisées en IRMf.

Réduction du bruit dans les prédictions

Les images IRMf individuelles sont souvent affectées par divers bruits, tels que les battements cardiaques, les mouvements de tête et les artefacts de l'appareil. Pour obtenir une réponse typique du cerveau à un stimulus, les chercheurs doivent généralement moyenner de nombreuses IRMf. TRIBE v2 contourne cette difficulté en prédisant directement une réponse moyenne ajustée.

Dans les tests, les prédictions de TRIBE v2 ont montré une corrélation plus forte avec la moyenne de groupe réelle que la plupart des IRMf individuelles. Cet effet est particulièrement notable dans le jeu de données du Human Connectome Project, capturé avec un scanner de 7 Tesla, qui offre une qualité de signal supérieure aux machines standard de 3 Tesla.

Des avancées par rapport aux modèles antérieurs

TRIBE v2 surpasse les modèles linéaires optimisés, qui étaient jusqu'alors la norme pour ce type de prédiction. La version précédente, TRIBE v1, avait été formée sur seulement quatre sujets et ne prédisait que 1 000 voxels. Malgré cela, elle avait remporté la compétition Algonauts 2025, surpassant 263 autres équipes.

La précision des prédictions de TRIBE v2 s'améliore avec l'augmentation des données d'entraînement et n'a pas encore atteint de plateau, suggérant que le modèle continuera de s'améliorer à mesure que les bases de données d'IRMf s'enrichissent. Ce phénomène reflète les lois d'échelle observées dans les grands modèles de langage, où plus de données entraînent généralement de meilleures performances.

Reproduire des décennies de recherche en laboratoire

Les chercheurs ont testé TRIBE v2 avec des stimuli quotidiens, tels que des films et des podcasts, où plusieurs entrées sensorielles stimulent le cerveau simultanément, ainsi qu'avec des stimuli isolés typiques des neurosciences classiques. Dans ces contextes contrôlés, une seule image pouvait être présentée à l'écran pendant une seconde pour mesurer la réponse d'une région cérébrale spécifique.

L'équipe a utilisé des protocoles de test du jeu de données Individual Brain Charting, une collection d'expériences neuroscientifiques bien établies, et a demandé au modèle de prédire quelles zones cérébrales devraient s'activer. Dans les expériences visuelles, TRIBE v2 a identifié les régions cérébrales spécialisées pour les visages, les lieux, les corps et les personnages.

Cartographie des canaux sensoriels

En désactivant sélectivement des canaux d'entrée individuels, TRIBE v2 révèle combien chaque sens stimule l'activité dans des régions cérébrales spécifiques. Les résultats sont cohérents avec les connaissances neuroscientifiques actuelles : l'audio prédit le mieux l'activité près du cortex auditif, la vidéo est associée au cortex visuel, et le texte active les zones linguistiques et certaines parties du lobe frontal.

Dans les régions où le cerveau combine les entrées de plusieurs sens, l'utilisation des trois canaux offre les plus grands gains. À la jonction des lobes temporal, pariétal et occipital, la précision des prédictions augmente jusqu'à 50 % par rapport à un seul canal.

Les limites de TRIBE v2

Malgré ses avancées, TRIBE v2 présente des limitations notables. L'IRMf ne mesure l'activité cérébrale que de manière indirecte à travers le flux sanguin, avec un délai de plusieurs secondes. Les dynamiques rapides des signaux neuronaux, qui se mesurent en millisecondes, restent inaccessibles. De plus, le modèle ne couvre que trois canaux sensoriels : l'odorat, le toucher et l'équilibre ne sont pas pris en compte.

Plus fondamentalement, TRIBE v2 considère le cerveau comme un récepteur passif des entrées sensorielles, sans modéliser comment il prend activement des décisions ou entraîne des actions. Il ne peut pas non plus capturer les changements développementaux ou les conditions cliniques, ce que les chercheurs considèrent comme une priorité pour les futures versions.

Meta envisage trois cas d'utilisation pour le modèle : planifier des expériences en neurosciences, construire des architectures d'IA plus proches du fonctionnement du cerveau, et éventuellement diagnostiquer des maladies cérébrales. Le code, les poids du modèle et une démo interactive sont tous disponibles publiquement.