TRIBE v2 : Meta lance une IA capable de simuler les réactions du cerveau

TRIBE v2 : Meta lance une IA capable de simuler les réactions du cerveau

Meta a présenté TRIBE v2, un modèle open source qui simule les schémas d'IRMf pour prédire l'activité cérébrale en réponse à des images, des sons et du texte.

Son entraînement repose sur plus de 500 heures d'IRMf collectées auprès d'environ 700 participants. Ce système est capable de généraliser en mode « zero-shot » à de nouveaux individus, tâches et langues.

Objectif et fonctionnement

TRIBE v2 vise à reproduire, sans utiliser de scanner, les schémas d'activité cérébrale déclenchés par des contenus visuels, sonores ou textuels. Le modèle fonctionne comme un « cerveau virtuel » : il reçoit un stimulus (vidéo, audio, texte) et simule le schéma d'activation que produirait un cerveau réel dans un scanner.

Pour y parvenir, Meta a constitué un vaste jeu de données reliant contenus et activité cérébrale. Des centaines de volontaires ont passé de longues sessions dans un IRM fonctionnel, regardant des vidéos, écoutant des discours ou lisant des textes dans différentes langues.

Processus d'entraînement

• Étape 1 : Des encodeurs spécialisés traitent chaque type de contenu. TRIBE v2 utilise des modèles dédiés pour les vidéos, l'audio et le texte.

• Étape 2 : Un module d'intégration aligne ces signaux dans le temps, produisant une représentation commune de ce que la personne perçoit à un instant donné.

• Étape 3 : Une couche de projection traduit cette représentation en activité cérébrale simulée, prédisant l'intensité de la réponse fMRI sur environ 70 000 voxels, offrant ainsi une cartographie plus fine des aires sensorielles et associatives.

Avancées par rapport à TRIBE v1

TRIBE v2 représente une avancée significative par rapport à TRIBE v1, qui reposait sur seulement quatre participants et une centaine d'heures de films. Les premiers résultats indiquent des gains de précision de l'ordre de 2 à 3 fois.

Le modèle est capable de généraliser à de nouveaux individus, tâches et langues sans recalibrage spécifique, ce qui est une avancée majeure dans le domaine de la neuro-IA.

Cas d'usage

Meta met en avant deux principaux cas d'usage pour TRIBE v2 :

• Recherche en neurosciences : TRIBE v2 peut servir de simulateur pour tester des hypothèses avant d'utiliser un scanner coûteux. Cela permet de mieux cibler les expériences et d'exploiter les données existantes.

• Développement de modèles d'IA : TRIBE v2 permet de comparer les activations d'un modèle d'IA à celles mesurées en IRM, offrant des indices sur la manière dont l'IA organise l'information par rapport au cerveau humain.

Le code et les poids de TRIBE v2 sont publiés en open source, facilitant son adoption dans les laboratoires et les startups.