Le brief IA que les pros lisent chaque soir
Les 7 actus IA du jour, décryptées en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Un nouveau défi pour l'industrie de l'IA
Il y a peu, OpenAI a annoncé la relance de son programme de robotique, fermé en 2021, marquant un tournant pour les laboratoires d'intelligence artificielle qui cherchent à maîtriser le monde physique. L'entraînement des robots nécessite des données spécifiques, bien différentes de celles utilisées pour les modèles de langage. Ces données, essentielles pour le développement des capacités robotiques, sont actuellement rares et difficiles à obtenir.
Contrairement aux modèles de langage qui s'appuient sur des textes largement disponibles, les robots ont besoin de données qui reflètent des interactions physiques réelles. Les vidéos en ligne et les enregistrements de travailleurs ne suffisent pas, car ils manquent de précision et de pertinence pour les applications robotiques.
XDOF : une réponse à la pénurie de données
XDOF, une startup récemment mise en lumière, mise sur le fait que le prochain obstacle majeur pour l'IA ne réside pas dans les modèles ou les technologies matérielles, mais dans la collecte de données nécessaires pour enseigner aux robots à interagir avec leur environnement. L'entreprise s'engage à construire des pipelines de données, des outils de collecte et des systèmes d'annotation que les laboratoires et entreprises de robotique ne peuvent pas développer seuls.
Avec un financement de 70 millions de dollars provenant de Thrive Capital, Spark Capital, a16z, Lux, et WndrCo, XDOF est bien positionnée pour relever ce défi. Philipp Wu, co-fondateur et PDG, révèle que l'entreprise, qui emploie environ 60 personnes, collabore déjà avec une vingtaine de clients, dont plusieurs laboratoires d'IA de renom, bien que leurs noms restent confidentiels.
Une course contre la montre pour la robotique
Wu souligne l'urgence pour les laboratoires de se lancer dans la robotique, afin d'éviter de prendre du retard dans cette nouvelle frontière de l'IA. En tant qu'étudiant en doctorat à UC Berkeley, Wu a lui-même été confronté à l'absence de données à grande échelle pour l'entraînement des robots, un obstacle majeur pour le développement de modèles robotiques efficaces.
Avec Fred Shentu, futur CTO de XDOF, Wu a travaillé sur GELLO, un système de téléopération économique permettant à un opérateur humain de contrôler un bras robotique pour générer des données d'entraînement. Ce projet a eu un impact significatif dans le domaine de la robotique, inspirant de nombreux chercheurs à adopter des dispositifs similaires pour la collecte de données.
Un écosystème de données pour la robotique
En octobre 2024, Wu, Shentu et Nemo Jin ont fondé XDOF pour créer un écosystème de données destiné aux entreprises développant des modèles robotiques. Conscients que la simple fourniture de données pourrait ne pas suffire, ils se concentrent également sur le nettoyage des données, les outils et l'annotation, créant ainsi une boucle de rétroaction bénéfique pour l'entraînement des robots.
L'entreprise s'est associée au laboratoire de recherche en IA de UC Berkeley pour publier ABC, la plus grande collection de données d'entraînement de robots de haute qualité jamais assemblée. Cette collection comprend 130 000 trajectoires de manipulation de robots, 300 heures de simulation et 100 heures d'évaluations, offrant aux chercheurs un accès sans précédent à des données de pré-entraînement à grande échelle.
L'impact des données sur la recherche en robotique
David McAllister, doctorant à Berkeley, souligne l'importance de cette publication pour la communauté scientifique. Les données et modèles publiés permettent de réaliser des avancées inattendues, comme cela a été observé dans d'autres domaines de l'IA tels que le langage et la génération d'images.
Les données collectées ont déjà été utilisées pour entraîner des robots à accomplir des tâches spécifiques, comme plier des T-shirts, aplatir des boîtes ou encore charger des AirPods dans leurs étuis, démontrant ainsi leur potentiel pour améliorer les capacités robotiques.
Une stratégie en trois étapes pour la collecte de données
XDOF prévoit d'adopter une approche en trois niveaux pour la collecte de données. Le niveau le plus précieux concerne les données de téléopération collectées sur des robots réels en déploiement. Ensuite, viennent les robots téléopérés collectant des données plus générales, comme avec GELLO. Enfin, des données "égocentriques" seront recueillies par des humains effectuant des tâches quotidiennes, pour lesquelles XDOF envisage de développer ses propres capteurs portables.
Wu insiste sur l'importance de choisir le bon matériel dès le départ, car la qualité des données collectées dépend fortement des équipements utilisés. Une mauvaise conception initiale peut entraîner des problèmes inattendus dans les données, affectant ainsi la performance des algorithmes d'entraînement.
Un modèle économique intensif en main-d'œuvre
Pour atteindre ses objectifs, XDOF prévoit de recruter et former de nombreux téléopérateurs et opérateurs de données égocentriques à travers le monde. Ce modèle, bien que coûteux en main-d'œuvre, répond à une question cruciale : pourquoi les grands laboratoires ne produisent-ils pas eux-mêmes ces données ?
Wu explique que la production de données à grande échelle nécessite des infrastructures considérables, comme des entrepôts de plusieurs centaines de milliers de pieds carrés et des centaines de robots. L'entretien de ces robots, leur calibration et la formation des opérateurs demandent une concentration, un capital et une échelle opérationnelle que peu de laboratoires d'IA peuvent se permettre, justifiant ainsi l'externalisation de ces tâches à des entreprises comme XDOF.
L'ambition derrière le nom XDOF
Le nom XDOF est un jeu de mots sur le terme "degrés de liberté" en robotique, qui décrit le nombre de mouvements indépendants qu'un robot peut effectuer. Par exemple, un bras humain, de l'épaule au poignet, possède sept degrés de liberté, tandis que le dernier robot de Figure AI en compte 30. Le "X" dans XDOF symbolise l'ambition de l'entreprise : offrir des degrés de liberté illimités, repoussant ainsi les limites de ce que les robots peuvent accomplir.
