L'architecture JEPA de Meta surpasse les méthodes IA standards dans l'imagerie médicale bruyante

L'architecture JEPA de Meta surpasse les méthodes IA standards dans l'imagerie médicale bruyante

Des chercheurs ont développé un modèle d'IA pour l'échographie cardiaque basé sur l'architecture JEPA de Meta, qui surpasse les approches courantes telles que les Masked Autoencoders et l'apprentissage contrastif dans leurs benchmarks.

La plupart des modèles d'IA pour l'analyse d'images et de vidéos reconstruisent soit des pixels masqués, soit apprennent en faisant correspondre des paires image-texte. Ces deux approches dominent la vision par ordinateur. Une équipe de recherche internationale de l'Université de Toronto, de l'Institut Vector et de l'Université de Chicago affirme maintenant qu'une troisième méthode peut surpasser les deux : l'architecture JEPA proposée par Yann LeCun et son équipe durant son passage chez Meta.

Selon l'article, leur modèle, EchoJEPA, a été entraîné sur 18 millions de vidéos d'échographie provenant de 300 000 patients. Les approches standards comme les Masked Autoencoders masquent des parties d'une image et forcent le modèle à reconstruire les pixels manquants aussi fidèlement que possible. Le modèle doit apprendre exactement à quoi ressemble l'image, y compris tout le bruit et les artefacts. JEPA adopte une approche différente : elle masque également des parties de l'image, mais au lieu d'essayer de reconstruire les pixels réels, elle prédit une représentation abstraite de la région cachée - essentiellement un résumé compressé de ce qui s'y trouve conceptuellement. Le modèle n'a pas besoin de savoir à quoi ressemble exactement une zone, juste ce qu'elle signifie.

L'échographie, un test de stress pour les modèles de vision

Les images échographiques sont pleines de bruit. Les motifs de speckle, les ombres et les fluctuations d'intensité obscurcissent l'anatomie cardiaque réelle. Un modèle qui doit reconstruire des pixels apprend inévitablement ce bruit également. JEPA est conçu pour contourner ce problème car, selon les chercheurs, il se concentre sur des structures temporellement stables comme les cavités cardiaques et le mouvement des parois.

Pour isoler l'effet de l'architecture, les chercheurs ont entraîné un modèle JEPA et un modèle de reconstruction de pixels avec des données identiques, une taille identique et un budget de calcul identique. Le modèle JEPA a obtenu des performances 27 % meilleures dans l'estimation de la fonction de pompage cardiaque, selon l'article. Pour la classification des vues échographiques, il a atteint 79 % de précision avec seulement 1 % de données étiquetées, tandis que la meilleure alternative n'a réussi qu'à 42 % avec toutes les données étiquetées. Sous des corruptions d'image simulées, la performance d'EchoJEPA a chuté de 2,3 %, tandis que les modèles concurrents se sont dégradés jusqu'à 16,8 %.

Sans aucune formation sur les cœurs pédiatriques, le modèle a surpassé toutes les références qui avaient été explicitement ajustées pour cette tâche, selon les chercheurs.

Un point de données solide, mais pas encore une preuve

Les résultats proviennent des propres benchmarks des chercheurs. Le modèle le plus performant a été entraîné sur des données propriétaires et n'est pas disponible publiquement. Seule une variante plus petite entraînée sur des données publiques a été publiée. Les tests de robustesse ont utilisé des corruptions synthétiques, et non des conditions cliniques réelles. Il reste à voir si les avantages parfois dramatiques se maintiennent en pratique.

Cela dit, la comparaison contrôlée utilisant une architecture, des données et un budget de calcul identiques est méthodologiquement solide et fournit plus qu'une simple preuve anecdotique. L'article représente l'un des premiers tests à grande échelle dans le monde réel de l'architecture JEPA en dehors des propres benchmarks de Meta. Reste à savoir si l'approche s'avérera supérieure dans d'autres domaines - ou si l'échographie cardiaque, avec ses niveaux de bruit élevés, est un cas particulièrement favorable - la question demeure ouverte. V-JEPA 2 est un autre modèle qui a montré des résultats prometteurs, cependant.

LeCun n'est pas impliqué dans EchoJEPA, mais il utilise maintenant les idées derrière JEPA pour construire des modèles mondiaux dans sa nouvelle startup d'IA, AMI Labs. L'entreprise a récemment levé près d'un milliard de dollars lors du plus grand tour de financement de démarrage en Europe.