Andrej Karpathy affirme que les humains sont désormais le goulot d'étranglement de la recherche en IA avec des résultats faciles à mesurer

Andrej Karpathy affirme que les humains sont désormais le goulot d'étranglement de la recherche en IA avec des résultats faciles à mesurer

Karpathy a passé des mois à peaufiner manuellement son configuration d'entraînement GPT-2. Puis, il a laissé un agent autonome prendre le relais pendant une seule nuit. L'agent a découvert des ajustements fins que Karpathy avait négligés, des modifications qui interagissent également entre elles de manière à être faciles à manquer pour un humain, mais simples à détecter lors d'une recherche systématique.

L'enseignement de Karpathy est que les chercheurs devraient se retirer du processus, du moins dans les domaines où des métriques objectives existent. "Pour tirer le meilleur parti des outils qui sont désormais disponibles, vous devez vous retirer en tant que goulot d'étranglement. Vous ne pouvez pas être là pour suggérer la prochaine étape", déclare Karpathy. Selon lui, les chercheurs des grands laboratoires d'IA font trop confiance à leur propre intuition sans fondement et sont finalement en train de s'automatiser systématiquement hors de leur emploi. Ce qui, note Karpathy, est également leur objectif déclaré.

Bien que les modèles continuent de s'améliorer dans le codage et d'autres tâches faciles à vérifier, Karpathy ne pense pas que ces gains se transféreront facilement à des domaines moins mesurables. "Tout ce qui semble plus flou est, en quelque sorte, moins bon", dit-il.