OpenAI : Karpathy utilise Claude Opus 5 pour créer une scène 3D

OpenAI : Karpathy utilise Claude Opus 5 pour créer une scène 3D

Andrej Karpathy a utilisé le modèle d'IA Claude Opus 5 pour transformer un seul paragraphe du "Seigneur des Anneaux" en une scène 3D dans un navigateur, générant 5 500 lignes de code en environ deux heures.

L'ensemble du processus a coûté environ dix dollars. Le modèle a placé et animé des objets de manière autonome, mais a commis des erreurs car il ne pouvait vérifier sa propre sortie vidéo qu'à travers des captures d'écran.

Pour Karpathy, qui travaille chez Anthropic, ce test démontre le potentiel de mondes de jeux personnalisés et peu coûteux, créés à la demande. Il considère le résultat plus comme un test d'ambiance que comme un véritable critère de référence.

Un paragraphe du "Seigneur des Anneaux" en entrée, 5 500 lignes de code en sortie. Andrej Karpathy a demandé à Claude Opus 5 de transformer l'ouverture de Tolkien en une scène 3D dans un navigateur.

Le modèle a fonctionné pendant environ deux heures, avec un budget d'un million de tokens (environ 10 dollars), et a tout rendu en Three.js, une bibliothèque graphique pour le 3D dans le navigateur. Karpathy a publié le code source en ligne afin que d'autres puissent rejouer et modifier la scène.

L'argument de Karpathy est que le célèbre test du pélican est presque arrivé à saturation. Le benchmark amusant de Simon Willison demande à un modèle de dessiner un SVG d'un pélican faisant du vélo, un prompt choisi pour être suffisamment absurde afin que le sujet n'existe pas déjà dans les données d'entraînement. L'idée remonte encore plus loin. En 2023, Microsoft a demandé à GPT-4 de dessiner une licorne en TikZ dans le cadre de son article Sparks of AGI et l'a présenté comme une preuve de raisonnement spatial. À l'époque, GPT-4 n'était entraîné que sur des données textuelles, contrairement aux modèles multimodaux qui alimentent désormais chaque chatbot majeur.

Karpathy qualifie le résultat de brut mais amusant. Eleven Labs a fourni l'audio, tandis que le modèle a placé et animé des objets de manière autonome. Personne ne construirait des mondes comme ça à la main, dit Karpathy, mais avec un modèle, c'est presque gratuit. Il voit un potentiel pour des mondes de jeux à la demande où les utilisateurs pourraient être intégrés en tant que personnages secondaires ou protagonistes.

Un problème demeure. Le modèle ne peut pas visionner sa propre sortie vidéo et devait donc se fier à des captures d'écran, ce qui a conduit à des erreurs. D'autres utilisateurs ont demandé à Opus 5 d'écrire des jeux de navigateur entiers, allant des jeux de tir à la première personne aux clones de Minecraft. Rien de tout cela ne produit de véritables critères de référence. Ce sont des tests d'ambiance.

Karpathy est co-fondateur d'OpenAI et a été responsable de l'IA chez Tesla. Il a ensuite dirigé la startup éducative Eureka Labs et travaille sur la recherche de pré-entraînement chez Anthropic depuis mai 2026.