NVIDIA et Siemens : l'IA révolutionne l'échographie

L'échographie est l'une des méthodes d'imagerie médicale les plus courantes, prisée pour sa sécurité, sa capacité en temps réel, sa portabilité et son faible coût. Traditionnellement, les images échographiques sont créées à partir d'un pipeline de reconstruction manuel qui comprime les mesures brutes des capteurs en une image finale. Ce processus repose souvent sur des hypothèses simplificatrices concernant la physique, comme une vitesse du son constante à travers le corps.

À l'ère de l'intelligence artificielle et des modèles de base, une question se pose : est-il possible de dépasser le pipeline traditionnel de formation de faisceaux, d'apprendre directement à partir des données brutes des capteurs ultrasonores et d'exploiter les informations qui sont généralement perdues lors de la reconstruction ? NVIDIA et Siemens Healthineers ont collaboré pour répondre à cette question, aboutissant à la création d'un modèle de reconstruction nommé NV-Raw2Insights-US.

Au cœur de l'échographie, ce n'est pas une image mais du son. Les cliniciens voient à l'écran une image reconstruite à partir de millions de petits échos renvoyés par le corps. Cependant, dans ce processus de reconstruction, une grande partie du signal original, la richesse de la manière dont le son se déplace réellement à travers les tissus, est simplifiée ou perdue.

Une approche innovante

L'approche de NVIDIA et Siemens commence plus tôt dans le processus. Plutôt que de travailler à partir d'images terminées, NV-Raw2Insights-US apprend directement à partir des signaux bruts capturés par la sonde ultrasonore, la représentation la plus proche de la manière dont le son interagit réellement avec le corps. Cela permet au modèle d'« écouter » plus attentivement et de comprendre comment chaque patient façonne de manière unique ces ondes sonores. Cette vision d'une IA de bout en bout pour l'imagerie ultrasonore est un premier pas vers cette ambition. Cette classe de modèles est appelée Raw2Insights.

Dans cette première application Raw2Insights, le système estime la vitesse du son pour une focalisation d'image adaptative. Le résultat est un système capable de générer une carte personnalisée de la vitesse du son pour chaque patient et de l'utiliser pour corriger l'image en temps réel. Ce qui nécessitait autrefois des calculs complexes et chronophages est désormais effectué en un seul passage d'IA. C'est le passage des données brutes des canaux ultrasonores à des informations exploitables : un système d'IA qui ne se contente pas de traiter des images échographiques, mais qui comprend et s'adapte activement à la physique de chaque patient.

Technologie de pointe

Typiquement, les données brutes des canaux ultrasonores ne sont pas facilement accessibles sur les scanners ultrasonores de qualité clinique en raison de leur large bande passante. Le Holoscan Sensor Bridge (HSB) est un IP FPGA open source développé par NVIDIA qui permet un transfert de données à haute bande passante et faible latence vers le GPU via RDMA over Converged Ethernet. Un kit de développement FPGA Altera Agilex-7 associé au Holoscan Sensor Bridge de NVIDIA permet le streaming de données brutes des canaux ultrasonores à partir des sorties DisplayPort d'un scanner ultrasonore ACUSON Sequoia. Cette technologie est appelée Data over DisplayPort.

Le NVIDIA HSB regroupe ensuite les données et les transmet via Ethernet à NVIDIA IGX pour la collecte de données et l'inférence IA. Cela démontre comment la capacité de calcul moderne à haute performance peut être intégrée aux architectures de scanners existants en utilisant des sorties DisplayPort à haute bande passante.

Déploiement et capacités

Nous déployons NV-Raw2Insights-US en utilisant NVIDIA Holoscan, une plateforme de traitement de capteurs IA en périphérie conçue pour des charges de travail en temps réel et haute performance sur des systèmes tels que NVIDIA IGX Thor et NVIDIA DGX Spark.

Une fois les données dans la mémoire GPU, NV-Raw2Insights-US exécute une inférence accélérée sur un GPU de classe Blackwell, produisant une estimation de la vitesse du son spécifique au patient. Cette estimation est renvoyée au scanner ultrasonore, permettant une amélioration de la mise au point dans le flux d'imagerie en direct.

Cette architecture de démonstration offre une flexibilité tant au niveau du développement que du déploiement :

• Intégration uniquement logicielle : L'accélération des dispositifs médicaux existants par NVIDIA est possible avec des modifications uniquement logicielles en utilisant Data over DisplayPort.

• Ultrason défini par logiciel : Cette approche définie par logiciel permet une amélioration continue grâce à des mises à jour logicielles.

• Expansion modulaire : Avec les données brutes des canaux ultrasonores déjà dans la mémoire GPU, de nouveaux modèles IA peuvent être intégrés de manière transparente.

Vers une imagerie native IA

En déplaçant l'intelligence ultrasonore des algorithmes traditionnels vers un pipeline Raw2Insights piloté par l'IA, nous ouvrons une voie évolutive vers une imagerie native IA. En apprenant directement à partir des données brutes des canaux ultrasonores plutôt que des images reconstruites, NV-Raw2Insights-US réduit les erreurs introduites par les hypothèses traditionnelles et adapte efficacement l'imagerie pour chaque patient.

Cette architecture améliore non seulement la clarté des images aujourd'hui, mais établit également une base modulaire pour la prochaine génération de systèmes de diagnostic alimentés par l'IA.