Encord et Zander Labs : l'IA physique par ondes cérébrales

Une nouvelle frontière pour l'IA physique : l'utilisation des ondes cérébrales

Dans un entrepôt situé à San Leandro, en Californie, un projet novateur prend forme. Encord, une entreprise spécialisée dans le développement d'outils de données pour l'entraînement des modèles d'IA, a entrepris une expérience intrigante. Andrew Ceja, un des formateurs robotiques d'Encord, manipule une tour de blocs de Jenga tout en portant un casque équipé de capteurs. Ces capteurs, conçus pour mesurer ses ondes cérébrales, suivent son activité mentale pendant qu'il effectue cette tâche. Cette technologie permet de recueillir des données précieuses sur les processus cognitifs impliqués dans des tâches physiques, offrant ainsi une nouvelle dimension à l'entraînement des robots.

Ce dispositif n'est pas simplement un gadget futuriste ; il représente une avancée potentielle dans la collecte de données d'entraînement pour les robots. Encord, en collaboration avec Zander Labs, une startup allemande spécialisée en neurosciences, explore comment l'activité cérébrale peut enrichir les ensembles de données utilisés pour entraîner les modèles robotiques. L'idée est de capter des états mentaux tels que l'erreur, l'intention ou la surprise, afin de créer des données plus pertinentes et efficaces. Cette approche pourrait transformer la manière dont les robots apprennent à interagir avec leur environnement, en leur permettant de comprendre et d'anticiper les actions humaines avec une précision accrue.

Le travail d'Encord avec Zander Labs est actuellement en phase d'essai. L'objectif est de constituer un ensemble de données initial étiqueté par les ondes cérébrales. Ces données seront ensuite intégrées aux modèles robotiques des clients pour évaluer si elles améliorent réellement les performances. Ce n'est qu'après cette évaluation que la décision sera prise quant à l'échelle à atteindre pour cette technologie. Cette phase d'essai est cruciale pour déterminer la viabilité de l'utilisation des ondes cérébrales dans l'entraînement des IA physiques, et pourrait ouvrir la voie à des applications plus larges dans divers secteurs industriels.

Le défi des données physiques rares

Encord et d'autres startups similaires sont confrontées à un défi majeur : la rareté des données d'entraînement physiques dans le monde réel. Contrairement aux modèles de langage qui s'appuient sur l'abondance de texte disponible en ligne, les robots nécessitent des données spécifiques et souvent difficiles à obtenir. Encord a donc décidé de ne pas se contenter de gérer les données existantes, mais de créer celles qui manquent. Cette démarche proactive vise à combler le fossé entre les capacités actuelles des robots et leur potentiel futur, en fournissant les données nécessaires pour des entraînements plus complets et nuancés.

Lucas Gehrke, neuroscientifique chez Zander Labs, explique que l'activité cérébrale observée lors de tâches spécifiques peut fournir des indices précieux aux concepteurs de modèles. Ces informations permettent de déterminer les moments où les modèles doivent être les plus performants, optimisant ainsi l'entraînement des robots. En comprenant mieux les processus mentaux humains, les robots pourraient être programmés pour réagir de manière plus intuitive et efficace, améliorant ainsi leur utilité dans des environnements complexes et dynamiques.

Stratégies pour surmonter le goulot d'étranglement des données

Vineeth Velmurugan, responsable de l'apprentissage robotique chez Encord, souligne que le véritable obstacle à l'avancement de l'IA physique réside dans le manque de données. Anciennement chez OpenAI et Berkshire Grey, Velmurugan a rejoint Encord pour renforcer l'équipe dédiée à la création de données. L'entreprise a été initialement fondée pour aider à annoter et évaluer des modèles de vision par machine, mais elle a rapidement évolué vers la production de données d'entraînement. Cette évolution reflète une prise de conscience croissante de l'importance de la qualité et de la quantité des données pour le développement de l'IA physique.

Les modèles de langage de grande taille (LLM) ont été construits sur une vaste quantité de texte disponible sur Internet. Cependant, pour les robots, obtenir des données comparables en termes de qualité et de quantité est un défi. Velmurugan estime qu'il faudrait un ensemble de données cinq fois plus grand que le corpus vidéo de YouTube pour atteindre un niveau d'efficacité similaire. Cette échelle souligne l'ampleur du défi auquel sont confrontées les entreprises de robotique, et justifie l'investissement dans la création de nouvelles sources de données.

L'importance des données égocentriques et musculaires

Pour répondre à ces besoins, Encord se tourne vers deux sources principales : les vidéos égocentriques et les données collectées par des robots opérés à distance. Les vidéos égocentriques, capturées par des travailleurs équipés de caméras, sont souvent complétées par d'autres angles de caméra et métriques. Encord utilise également son installation de San Leandro pour expérimenter de nouvelles modalités, comme les ondes cérébrales. Cette approche permet de recueillir des données riches et variées, essentielles pour l'entraînement des robots à des tâches complexes.

Lors d'une démonstration, des pilotes utilisaient des dispositifs de leader-suiveur pour créer des données sur des tâches telles que verser du café ou empiler des jetons de poker. Ces tâches, bien que simples, sont cruciales pour entraîner des robots à effectuer des manipulations précises. En reproduisant les mouvements humains avec une grande fidélité, les robots peuvent être formés à accomplir des tâches avec une précision et une efficacité accrues, ce qui est essentiel pour leur intégration dans des environnements de travail variés.

Encord développe également une nouvelle modalité de données utilisant des capteurs fixés à l'avant-bras pour détecter les signaux électriques dans les muscles. Ces capteurs permettent de créer une représentation 3D de la position de la main, offrant ainsi une compréhension plus complète pour les modèles. En capturant les subtilités des mouvements humains, cette technologie pourrait améliorer considérablement la capacité des robots à interagir avec leur environnement de manière plus naturelle et intuitive.

Annotation et coût des données d'entraînement

Les ensembles de données d'Encord sont méticuleusement annotés avec des descriptions physiques détaillées, ce qui les rend extrêmement précieux pour l'entraînement des modèles. Velmurugan estime que ces annotations denses ont une valeur cent fois supérieure aux données égocentriques de moindre qualité, bien qu'elles coûtent vingt fois plus à produire. Cette différence de coût souligne l'importance de l'investissement dans des données de haute qualité pour le développement de l'IA physique.

Cependant, le coût reste un obstacle majeur. Alors que les données textuelles peuvent être extraites gratuitement d'Internet, la génération de données physiques nécessite des ressources considérables. Cela représente un défi économique pour la construction de modèles d'IA physique. La nécessité de fabriquer ces données, plutôt que de simplement les collecter, change fondamentalement l'économie de l'entraînement des modèles robotiques.

Vers une meilleure compréhension des modèles d'IA physique

Malgré ces défis, Velmurugan est optimiste quant aux progrès réalisés. Encord, grâce à sa position unique dans l'industrie, peut observer quelles techniques de données gagnent en popularité et en efficacité. Cette perspective permet à l'entreprise de rester à la pointe de l'innovation en matière de données d'entraînement. En étant au carrefour de nombreuses entreprises de robotique, Encord a une vue d'ensemble précieuse qui lui permet d'identifier les tendances émergentes et d'adapter ses stratégies en conséquence.

Les pilotes d'Encord, comme Sofia Infante et Andrew Ceja, jouent un rôle crucial dans ce processus. Leur travail consiste à développer les éléments constitutifs des réseaux neuronaux, une tâche complexe mais essentielle pour l'avenir de l'IA physique. Ceja, ancien employé dans la gestion des déchets, apprécie le défi quotidien que représente l'entraînement des robots, une tâche qui, selon lui, offre toujours quelque chose de nouveau à explorer. Cette diversité et cette innovation constante sont au cœur de la mission d'Encord, qui vise à repousser les limites de ce que les robots peuvent accomplir.