Fast SAM 3D Body - Quand l'IA scanne votre corps en 3D en 65ms

Fast SAM 3D Body - Quand l'IA scanne votre corps en 3D en 65ms

Vous prenez une photo de quelqu’un avec votre téléphone et, en une fraction de seconde, vous obtenez un modèle 3D complet de son corps. Ses bras, ses jambes, ses mains, ses pieds... tout y est, modélisé en 3D comme si vous aviez un vrai studio de motion capture à Hollywood.

C’est exactement ce que fait Fast SAM 3D Body, un modèle d’IA développé par Meta. En gros, vous lui fournissez une image de vous et l’IA reconstruit votre corps en volume, avec le squelette, les articulations et la surface de la peau. Jusqu’ici, ce genre de technologie existait déjà, mais c’était hyper lent, prenant plusieurs secondes par image. Ce n’était donc pas idéal si vous vouliez que ça suive vos mouvements en direct.

Une équipe de chercheurs incroyable (USC, NVIDIA et Meta Reality Labs) a eu la bonne idée d’optimiser tout ça. Leur version accélérée, baptisée Fast SAM 3D Body, fait exactement le même travail mais quasiment 11 fois plus vite. Il ne faut plus que 65 millisecondes pour reconstruire un corps entier en 3D sur une RTX 5090. C’est à peu près le temps d’un clic de souris ! Autrement dit, on peut ENFIN faire du vrai temps réel !

Au lieu de faire tourner un algorithme qui optimise la pose du corps de manière itérative (ce qui prend du temps), ils ont remplacé tout ça par un réseau de neurones qui donne directement le résultat en une seule passe. Cette astuce rend la conversion entre formats de modèle 3D plus de 10 000 fois plus rapide ! C'est incroyable !

Applications concrètes

Mais alors concrètement, à quoi ça sert tout ça ?

• D'abord à la robotique, car imaginez un robot humanoïde comme le chinois Unitree G1 équipé d’une simple caméra. Vous faites un geste devant lui, et il le reproduit instantanément avec ses bras et ses jambes.

Dans la vidéo partagée par l'équipe, on voit que le robot manipule des objets et se déplace en copiant les mouvements d’un humain filmé par une caméra, sans aucun capteur sur le corps.

• Au-delà de la robotique, c’est aussi une petite révolution pour tous les créatifs et les bidouilleurs. Aujourd’hui, faire de la motion capture coûte cher en matériel (combinaison à marqueurs, caméras infrarouges, studio dédié...).

Avec une webcam et un bon GPU, vous pouvez facilement capter des mouvements 3D exploitables pour de l’animation, du jeu vidéo indie ou du prototypage. Cependant, attention, cela ne remplacera pas un vrai studio pro pour de la production cinématographique, il ne faut pas trop rêver non plus. Enfin, pour le moment !

Le code est disponible sur GitHub, et les modèles pré-entraînés de SAM 3D Body sont accessibles sur Hugging Face. D’ailleurs, si vous voulez voir ce que donnent les robots qui font la lessive avec ce genre de technologie, c’est par là.

Bref, y’a plus qu’à tester !