Meta : Brain2Qwerty v2 rapproche l'IA des implants

Meta : Brain2Qwerty v2 rapproche l'IA des implants

L'équipe de recherche FAIR de Meta a lancé Brain2Qwerty v2, un modèle qui reconstruit des phrases complètes à partir d'enregistrements cérébraux non invasifs. Le taux d'erreur moyen sur les mots est réduit à 39 %, et le meilleur participant atteint 22 %.

Les personnes ayant perdu la capacité de parler ou de bouger après une blessure cérébrale ont besoin d'un moyen de communiquer. Les implants cérébraux le font déjà de manière fiable, mais nécessitent une chirurgie risquée. La division IA de Meta, FAIR, travaille depuis un certain temps sur une alternative sans chirurgie et montre maintenant une amélioration majeure avec Brain2Qwerty v2.

Pour l'étude, les chercheurs ont enregistré l'activité cérébrale de neuf volontaires en bonne santé à l'aide de la magnétoencéphalographie (MEG), une technique qui mesure les champs magnétiques à l'extérieur du crâne. Chaque personne a été enregistrée pendant dix heures. Ensemble, ils ont tapé un total de 22 000 phrases. Le processus fonctionnait ainsi : les participants entendaient une phrase, faisaient une courte pause, puis la tapaient sur un clavier sans voir le texte à l'écran. Le modèle reconstruit la phrase à partir des signaux cérébraux captés pendant cette phase de saisie. Selon l'article, l'activité mesurable provient principalement du cortex moteur, qui contrôle les mouvements des doigts.

Dix fois plus de données pour abandonner la synchronisation des frappes

Le prédécesseur direct, Brain2Qwerty v1, nécessitait encore l'horodatage exact de chaque frappe pour aligner les signaux. La version 2 fonctionne avec une fenêtre de signal continue et attribue les caractères de manière autonome, sans information de timing. Cette approche asynchrone supprime une barrière clé sur le chemin de l'utilisation en temps réel, même si le système n'a pas encore franchi ce seuil. La tâche plus difficile fonctionne, selon les chercheurs, parce que le nouveau jeu de données contient dix fois plus d'enregistrements par personne et des phrases beaucoup plus variées que l'original.

Le modèle repose sur trois éléments de base de l'IA, selon l'équipe. L'apprentissage profond a remplacé les étapes de reconnaissance construites à la main utilisées auparavant. Le système traite les signaux à trois niveaux : caractères, mots et phrases complètes. L'équipe a également utilisé des agents IA pour écrire le code d'optimisation elle-même. Pour le niveau des phrases, un modèle linguistique (Qwen3) est affiné pour transformer les signaux cérébraux bruyants en phrases cohérentes.

Brain2Qwerty v2 atteint un taux d'erreur moyen sur les mots de 39 %, contre 55 % pour l'encodeur brut sans modèle linguistique. Pour le meilleur participant, 28 % des phrases sont décodées parfaitement, et 47 % contiennent au maximum un mot incorrect.

Meilleurs mots, mais plus de caractères erronés

L'équipe compare Brain2Qwerty v2 à deux méthodes plus simples. La première est l'encodeur brut, qui lit les caractères directement à partir du signal cérébral sans modèle linguistique pour lisser la sortie. La seconde est l'approche de Brain2Qwerty v1, où un modèle N-gram corrige la sortie de l'encodeur. Ce type de modèle connaît la probabilité statistique des séquences de lettres à partir de grandes collections de textes et corrige les chaînes de caractères individuelles localement, mais ne forme pas de phrases entières.

La performance est mesurée à trois niveaux :

• Le taux d'erreur de caractères (CER) compte les lettres incorrectes.
• Le taux d'erreur de mots (WER) compte les mots incorrects.
• Le taux d'erreur sémantique capture à quel point le sens s'écarte de la phrase cible.

Sur les mots et le sens, Brain2Qwerty v2 l'emporte. Le taux d'erreur sur les mots tombe à 39 %, contre 55 % pour l'encodeur brut et 43 % pour le modèle N-gram de la version 1.

Au niveau des caractères, la situation s'inverse. Ici, la version 2 atteint 31 % d'erreurs, pire que l'encodeur brut (28 %) et le modèle N-gram (26 %). La raison en est le modèle linguistique : il est entraîné pour produire des phrases fluides, même lorsque le signal cérébral ne les soutient pas vraiment. En cas de doute, il invente une phrase grammaticalement correcte mais complètement erronée.

Pour le participant le moins performant, le modèle a décodé "had she not fallen down the stairs" au lieu de la phrase cible "cars are not allowed on this road". Un échec total qui fait grimper le taux d'erreur de caractères. Le modèle N-gram ne corrige que localement et reste plus proche des lettres individuelles, mais produit rarement un vrai mot. Étant donné que la communication réussie dépend du sens, et non des correspondances exactes de caractères, l'équipe considère que les meilleurs scores en mots et en sémantique représentent des progrès plus pertinents. Une étude antérieure basée sur l'IRMf a, pour comparaison, atteint 92 à 94 % d'erreurs sur les mots.

Quand l'IA optimise la recherche en IA

Le travail comporte également un volet d'auto-recherche : trois agents indépendants basés sur Claude Opus 4.6 ont été chargés de réduire le taux d'erreur par leurs propres modifications de code et expériences. Ils ont trouvé des techniques comme le lissage des étiquettes, le dropout de modalité et des prompts plus courts qui ont fonctionné pour tous les participants, surpassant une méthode d'optimisation standard de manière significative. Mais lorsqu'on leur a donné une tâche ouverte, les mêmes agents ont échoué. Leurs modifications de code étendues ont fait planter la plupart des travaux de calcul. La recherche humaine reste une partie critique du processus pour le moment, conclut l'équipe.

Cependant, l'écart avec les systèmes implantés reste important. Les interfaces invasives atteignent un taux d'erreur sur les mots inférieur à 2 % pour la saisie. Mais l'exactitude de Brain2Qwerty v2 continue de grimper avec plus de données, et aucun plafond n'est encore en vue, donc les chercheurs considèrent la collecte de plus d'enregistrements comme un levier simple. Néanmoins, des questions demeurent : il existe des différences significatives entre les participants, l'étude est limitée à des volontaires en bonne santé effectuant de réels mouvements de saisie, et la capacité en temps réel fait encore défaut. Comme voie vers une utilisation clinique, l'équipe évoque des capteurs MEG portables fonctionnant à température ambiante. Des tests ont montré que même la moitié des capteurs offraient des performances presque complètes.

Une fenêtre sur le cerveau, pas seulement un outil médical

Ce travail s'inscrit dans une recherche plus longue menée par FAIR sous la direction du neuroscientifique Jean-Rémi King. Son équipe a déjà décodé la parole perçue à partir de données MEG et EEG en 2022 et a généré des images à partir de l'activité cérébrale en millisecondes en 2023. Plus récemment, l'équipe a présenté TRIBE v2, un modèle qui prédit l'activité cérébrale au lieu de la mesurer. Le prédécesseur direct Brain2Qwerty v1, qui reconstruisait des phrases tapées avec jusqu'à 80 % de précision au niveau des caractères et atteignait un taux d'erreur de caractères de 29 % sur MEG et 65 % sur EEG à travers 35 participants, a depuis été publié dans Nature Neuroscience.

Derrière Brain2Qwerty se cache un programme de recherche plus large que King considère comme plus qu'un défi d'ingénierie. La neuroscience et l'IA sont étroitement liées depuis le début, a-t-il déclaré dans une interview avec The Decoder : "L'IA aujourd'hui montre également que certains des concepts que nous tenons pour acquis - comme le raisonnement ou la pensée - pourraient nécessiter une réévaluation à la lumière de ce que les algorithmes d'apprentissage profond sont désormais capables de faire." Pour King, les modèles qui traduisent l'activité cérébrale en texte ne sont pas seulement un outil médical. Ils constituent une fenêtre sur le fonctionnement même du cerveau.