Richard Sutton défend l’apprentissage de l’IA sur des données réelles

Alors que Google a consenti un chèque de 10 millions de dollars pour des données et logiciels de Spirit Airlines et qu’OpenAI recherche des corpus propriétaires, Richard Sutton soutient que s’appuyer sur des données synthétiques pour entraîner les modèles est une impasse. Le chercheur prône l’apprentissage à partir d’expériences réelles et a lancé le mois dernier Oak Lab pour développer des agents qui apprennent en continu de leur environnement. Ses propos ont été tenus mardi lors d’un podcast.

La quête de données réelles s’intensifie chez les géants de l’IA

Les grandes entreprises technologiques multiplient les efforts pour accéder à des données réelles difficilement disponibles en ligne. OpenAI a ainsi cherché publiquement des ensembles de données propriétaires à grande échelle pour entraîner ses modèles. Plus tôt cette semaine, Google a accepté de verser 10 millions de dollars pour obtenir des données internes et des logiciels appartenant à Spirit Airlines, placée en faillite.

Apprentissage par l’expérience : la thèse de Sutton mise en pratique par Oak Lab

Richard Sutton privilégie des données d’expérience réelles, c’est‑à‑dire des informations collectées par un agent en interaction directe avec son environnement, avec observation et apprentissage continu des conséquences. Il a fondé Oak Lab le mois dernier en collaboration avec Khurram Javed, qui fut auparavant son étudiant. L’entreprise conçoit des agents dont l’apprentissage repose sur l’acquisition continue issue de leur propre expérience, au lieu de s’appuyer essentiellement sur de vastes ensembles de données sélectionnées à l’avance. À ce jour, Oak Lab n’a donné aucune information concernant un éventuel tour de table ou l’identité de ses investisseurs.

Pourquoi il rejette la donnée synthétique pour entraîner les modèles

Mardi, Richard Sutton a qualifié l’usage de données synthétiques pour faire progresser les grands modèles de langage de « grosse erreur ». Il soutient que les données fabriquées ne remplacent pas les données réelles, citant le comportement humain comme contre‑exemple : « Il n’y a aucun moyen d’avoir des données synthétiques sur l’esprit des autres ». Concernant les systèmes physiques, il affirme qu’on ne peut prédire par des données artificielles la manière dont un drone interagira avec le monde, en raison de variables comme le frottement et l’usure des moteurs, et résume : « Le monde est infiniment complexe, et toute simulation de celui‑ci est microscopique ». Les données synthétiques, produites artificiellement par des algorithmes plutôt que collectées dans le monde réel, sont pourtant de plus en plus attrayantes à mesure que les entreprises ratissent le web, avec des exemples allant des images de voitures pour la conduite autonome aux faux relevés bancaires pour la détection de fraude. Dans un épisode du podcast de Sequoia publié mardi, il a également estimé que l’industrie s’oriente mal en s’en remettant à ces corpus.