Brain-IT reconstruit des images vues via l’IRM, pas des pensées

Des chercheurs de l’Institut Weizmann ont mis au point Brain-IT, un modèle d’IA qui reconstitue des images à partir de l’activité cérébrale mesurée en IRM fonctionnelle et anticipe la réponse cérébrale à une image donnée. L’équipe affirme égaler en une heure d’IRM les performances de méthodes nécessitant 40 heures, tout en précisant que la technologie ne lit pas les pensées. Des pistes d’extension via EEG, son et, plus lointainement, rêves, sont envisagées.

La technologie ne lit pas les pensées et reste dépendante de l’IRM

Les chercheurs précisent que Brain-IT ne permet pas d'accéder aux pensées, à la mémoire ou au langage. À ce stade, le modèle ne peut générer des images qu’à partir de scans d’IRM fonctionnelle, une procédure longue qui nécessite la participation volontaire du sujet. Michal Irani et d’autres scientifiques étudient la possibilité d’utiliser un appareil EEG, plus simple, pour obtenir des résultats similaires. La perspective de décoder les rêves reste hypothétique : cela supposerait de surmonter des difficultés techniques liées au rythme rapide des images dans les rêves, alors qu’un scan IRM prend environ deux minutes. Si ces obstacles étaient franchis, lire les rêves pourrait devenir envisageable, mais cela reste du domaine de la recherche.

Une heure d’IRM annoncée pour rivaliser avec 40 heures de données

Michal Irani indique que Brain-IT surpasse les autres approches pour reconstituer à la fois le contenu et les détails des images. Selon l’équipe, une heure de données d’IRM fonctionnelle d’un nouveau sujet suffit à obtenir des résultats comparables à ceux de méthodes nécessitant 40 heures d’enregistrements. Les chercheurs situent ces progrès par rapport à des modèles capables de préserver l’ambiance générale d’une scène, mais qui commettent des erreurs sur des aspects fondamentaux comme la composition ou la couleur. Les images reconstruites par Brain-IT ne sont pas parfaites, mais elles restent largement fidèles à l’original.

Reconstruire la vision depuis des motifs cérébraux mesurés

Brain-IT utilise la reconnaissance de motifs pour transformer les variations de flux sanguin et d’oxygène mesurées par IRM fonctionnelle en images proches de celles perçues par la personne examinée. Le modèle peut aussi prédire à quoi ressemblerait un scan cérébral si une image précise était montrée. Son entraînement s’est appuyé sur des milliers de scans issus du Natural Scenes Dataset, collectés auprès de huit volontaires regardant des images spécifiques pendant l’acquisition. Les chercheurs ont identifié 128 régions fonctionnelles du cerveau qui s’activent selon le type de contenu visuel : par exemple, certaines zones réagissent à la nourriture, d’autres à des scènes sportives. Ces régularités aident l’IA à déterminer ce que la personne voit.

Équipe, publications et usages envisagés au-delà du laboratoire

Brain-IT a été développé par la professeure Michal Irani et ses collègues à l’Institut Weizmann des sciences, avec une documentation accessible sur GitHub et une présentation lors d’une conférence scientifique plus tôt cette année. Les chercheurs précisent que le projet en est encore principalement au stade du laboratoire, mais ils envisagent des applications médicales, notamment pour aider des personnes à communiquer lorsqu’elles ne peuvent pas s’exprimer. L’équipe prévoit également d’explorer la reconstruction à partir de signaux auditifs. Michal Irani décrit l’expression « lecture de pensées » comme un terme destiné à attirer l’attention et précise que le modèle permet de reconstituer et d’anticiper les réactions cérébrales face à des images. Certaines des zones fonctionnelles détectées étaient déjà répertoriées par les neuroscientifiques, s’inscrivant dans la lignée de recherches précédentes ayant mis en évidence, par exemple, l’activité cérébrale de chiens auprès de leurs maîtres et le recours chez l’humain aux mêmes neurones pour se remémorer une image ou la visualiser.