Nvidia révolutionne la robotique médicale avec l'IA physique

Nvidia et l'IA physique en robotique médicale

Nvidia a récemment dévoilé un cadre innovant de simulation de physique médicale qui redéfinit la manière dont les robots de santé apprennent. Contrairement aux systèmes d'IA traditionnels qui s'appuient sur le texte ou les images, l'IA physique se concentre sur l'apprentissage par l'expérience incarnée, c'est-à-dire par le contact direct et les interactions physiques.

Dans le domaine de la robotique médicale, cette approche est cruciale. Un modèle de langage peut se contenter de textes pour apprendre, mais un robot médical doit comprendre les conséquences physiques de ses actions, comme la pression exercée par un bras robotique sur un tissu mou ou le passage d'un cathéter dans un vaisseau sanguin. Ces interactions nécessitent soit un environnement physique réel, soit une simulation suffisamment réaliste pour en capturer les nuances.

Pour la robotique de santé, les corps physiques opérant dans des procédures réelles sont rares, étroitement réglementés et prennent du temps à générer la gamme de scénarios qu'un robot doit réellement observer. La simulation de physique médicale est la tentative de Nvidia de fabriquer cette expérience incarnée de manière computationnelle.

Simulation de physique médicale : une avancée nécessaire

Dans le secteur de la santé, les robots opérant dans des contextes réels sont rares et soumis à des réglementations strictes. Cela limite leur exposition aux divers scénarios cliniques qu'ils doivent maîtriser. Nvidia propose de combler cette lacune avec sa simulation de physique médicale, un outil qui permet de créer des expériences incarnées de manière computationnelle.

Ce cadre, intégré à la plateforme Isaac for Healthcare de Nvidia, est conçu pour générer des interactions physiques complexes auxquelles un robot chirurgical ou de diagnostic pourrait être confronté. Par exemple, il peut simuler un fil guide coincé dans une paroi vasculaire ou un calcul rénal dans une position atypique. Ces scénarios, souvent rares en salle d'opération, peuvent être recréés à la demande grâce à la simulation.

Annoncé comme un ajout open-source à la plateforme Isaac for Healthcare de l'entreprise, le cadre génère les interactions physiques qu'un robot chirurgical ou de diagnostic aurait autrement besoin d'années d'exposition clinique pour rencontrer : un fil guide se coinçant sur une paroi vasculaire calcifiée, un calcul rénal logé à un angle inhabituel, ou la réponse des tissus mous qui ne se manifeste que dans une petite fraction des procédures.

Construire une intuition physique avant l'intervention

Le cadre de Nvidia combine deux approches pour modéliser le comportement des dispositifs médicaux dans le corps humain. La simulation de physique classique s'occupe des règles mécaniques bien établies, telles que la flexion d'un cathéter ou la résistance d'une paroi vasculaire. En parallèle, l'IA générative s'attaque aux aspects plus complexes à coder, comme les dynamiques visuelles des scènes, grâce à un composant appelé Cosmos-H Dreams.

Cette combinaison permet de fournir aux robots une compréhension complète des interactions physiques et visuelles nécessaires pour généraliser leur apprentissage. En exploitant les capacités des GPU et les bibliothèques Warp et Newton de Nvidia, le cadre peut exécuter des milliers d'environnements d'entraînement simultanément, réduisant ainsi considérablement le temps d'apprentissage.

Nvidia a démontré qu'un benchmark avec 8 192 environnements parallèles peut réduire le temps d'entraînement de cinq heures à moins de deux minutes. Cependant, cette avancée en termes de rapidité ne garantit pas la fiabilité clinique, et il reste à prouver que ces simulations correspondent aux situations réelles rencontrées en chirurgie.

Un modèle de langage qui sous-performe sur un cas extrême produit une mauvaise réponse, mais un système d'IA physique qui sous-performe sur un cas extrême opère à l'intérieur d'un patient. L'approche de simulation parallèle est une avancée réelle dans la rapidité avec laquelle les développeurs peuvent explorer les modes de défaillance. Cependant, la question de savoir si ces modes de défaillance simulés correspondent à ce qui se passe réellement dans une salle d'opération est une question distincte.

Les premiers tests de l'approche d'incarnation

Plusieurs organisations ont déjà commencé à tester l'approche d'IA physique de Nvidia, chacune à des niveaux différents. CMR Surgical et Cambridge Consultants ont été parmi les premiers à adopter cette technologie. CMR a fourni près de 500 heures de données cliniques anonymisées issues de son système robotique chirurgical Versius, couvrant diverses procédures médicales. Ces données sont utilisées pour modéliser la physique des interactions avec les tissus mous et créer des simulations spécifiques aux patients.

“Les modèles open-source nous permettent de capitaliser sur des connaissances partagées, d'accélérer l'innovation responsable et, en fin de compte, nous donnent le potentiel de fournir des soins plus cohérents et de meilleurs résultats pour les patients dans le monde entier,” a déclaré Chris Fryer, CTO de CMR Surgical.

Johnson & Johnson MedTech utilise également le cadre pour développer un jumeau numérique de sa plateforme endoluminale MONARCH, en se concentrant sur les scénarios liés aux calculs rénaux. De son côté, XCath forme des politiques d'autonomie endovasculaire pour naviguer dans les vaisseaux sanguins sans intervention humaine.

Inner Logic génère des données synthétiques pour valider la mécanique des dispositifs et envisage de produire des preuves in silico pour les soumissions réglementaires. Enfin, Medtronic Structural Heart explore l'utilisation de la détection par rayons X simulée pour la recherche sur la navigation des cathéters.

Chacune de ces initiatives est un exercice d'entraînement ou une contribution de jeu de données. Aucune n'est un système déployé opérant sur un patient avec des politiques apprises de cette manière, et Nvidia ne prétend pas le contraire.

L'importance de l'open-source dans l'IA physique

Dans le domaine de la robotique de santé, la transparence est cruciale. Les régulateurs et les comités d'examen clinique doivent comprendre comment un système arrive à ses décisions. Un cadre open-source permet aux développeurs de vérifier les hypothèses physiques des simulations et de reproduire les résultats à travers différentes anatomies.

Cette ouverture est essentielle pour soumettre des preuves aux organismes de régulation comme la FDA. Bien que le code ouvert facilite la vérification externe de la logique du modèle, il ne garantit pas que le comportement physique simulé correspond à la réalité. Des tests supplémentaires sont nécessaires pour valider ces simulations, et aucune entreprise n'a encore publié de résultats confirmant cette correspondance.

Nvidia a créé une infrastructure qui pourrait accélérer le développement des robots chirurgicaux et de diagnostic, en permettant des entraînements à grande échelle. Cependant, la validation clinique reste un défi à relever pour que ces technologies puissent être déployées en toute sécurité dans les salles d'opération.