Mustafa Suleyman : l'IA continue son essor malgré les doutes

L'évolution exponentielle de l'IA selon Mustafa Suleyman

Dans un monde où nous avons évolué avec une compréhension linéaire du progrès, l'intelligence artificielle (IA) défie cette intuition. Mustafa Suleyman, cofondateur de DeepMind, souligne que depuis ses débuts dans le domaine en 2010, la quantité de données d'entraînement pour les modèles d'IA a explosé de manière spectaculaire. Les premiers systèmes nécessitaient environ 10¹⁴ flops, tandis que les modèles actuels dépassent 10²⁶ flops. Cette croissance exponentielle est au cœur de l'évolution de l'IA.

Les sceptiques, cependant, continuent de prédire des obstacles à cette progression. Ils pointent souvent le ralentissement de la loi de Moore, le manque de données ou les limitations énergétiques. Pourtant, Suleyman insiste sur le fait que la combinaison des forces motrices de cette révolution rend la tendance exponentielle prévisible. Pour comprendre cette dynamique, il est crucial d'examiner les réalités complexes et en constante évolution qui se cachent derrière les gros titres.

Les avancées technologiques qui propulsent l'IA

L'entraînement de l'IA peut être comparé à une salle remplie de personnes utilisant des calculatrices. Historiquement, augmenter la puissance de calcul signifiait simplement ajouter plus de personnes avec des calculatrices. Cependant, cette approche était inefficace, car beaucoup restaient inactifs en attendant les données nécessaires. Aujourd'hui, la révolution va bien au-delà de l'ajout de calculatrices plus rapides. Elle consiste à s'assurer que toutes ces calculatrices fonctionnent ensemble de manière continue et efficace. Trois avancées majeures permettent cette transformation.

Premièrement, les calculatrices de base, c'est-à-dire les puces, sont devenues beaucoup plus rapides. Les puces Nvidia, par exemple, ont vu leurs performances brutes augmenter de plus de sept fois en six ans, passant de 312 teraflops en 2020 à 2 250 teraflops aujourd'hui. La puce Maia 200, lancée en janvier, offre 30 % de meilleures performances par dollar que tout autre matériel de leur flotte.

Deuxièmement, la technologie de mémoire à large bande passante, ou HBM, a révolutionné la vitesse à laquelle les données sont traitées. En empilant les puces verticalement, la dernière génération, HBM3, triple la bande passante de son prédécesseur, permettant aux processeurs de rester constamment occupés.

Troisièmement, les connexions entre les unités de calcul ont été améliorées grâce à des technologies comme NVLink et InfiniBand, transformant des centaines de milliers de GPU en superordinateurs géants. Ces avancées permettent de traiter des volumes de données inimaginables il y a quelques années.

Une puissance de calcul en pleine explosion

Ces innovations combinées ont permis une augmentation spectaculaire de la puissance de calcul. En 2020, il fallait 167 minutes pour entraîner un modèle de langage sur huit GPU. Aujourd'hui, cela prend moins de quatre minutes avec du matériel moderne. Alors que la loi de Moore aurait prédit une amélioration de 5x sur cette période, nous avons observé une amélioration de 50x. Les plus grands clusters actuels utilisent plus de 100 000 GPU, chacun étant bien plus puissant que ceux de la génération précédente.

En parallèle, les avancées logicielles ont également joué un rôle crucial. Selon Epoch AI, la puissance de calcul nécessaire pour atteindre un niveau de performance donné diminue de moitié environ tous les huit mois, bien plus rapidement que le doublement traditionnel de 18 à 24 mois de la loi de Moore. Les coûts de service de certains modèles récents ont chuté jusqu'à 900 fois sur une base annuelle, rendant l'IA beaucoup plus abordable.

L'avenir de l'IA : des agents presque humains

Les perspectives pour l'avenir proche sont tout aussi impressionnantes. Les laboratoires leaders dans le domaine augmentent leur capacité de près de 4x par an. Depuis 2020, la puissance de calcul pour entraîner des modèles de pointe a crû de 5x chaque année. On prévoit que la puissance de calcul mondiale pertinente pour l'IA atteindra 100 millions d'équivalents H100 d'ici 2027, soit une augmentation par dix en trois ans. D'ici la fin de 2028, nous pourrions voir une augmentation de 1 000x de la puissance de calcul effective.

Cette montée en puissance pourrait permettre le développement d'agents IA presque au niveau humain. Ces systèmes semi-autonomes seraient capables de réaliser des tâches complexes sur de longues périodes, comme écrire du code, gérer des projets, passer des appels ou négocier des contrats. Les implications de cette transition vont bien au-delà de la simple technologie, transformant potentiellement tous les secteurs basés sur le travail cognitif.

Le défi énergétique de l'IA

Cependant, cette expansion rapide de l'IA pose un défi majeur : l'énergie. Un seul rack d'IA de la taille d'un réfrigérateur consomme 120 kilowatts, soit l'équivalent de 100 foyers. Mais cette demande énergétique croissante coïncide avec une autre tendance exponentielle : la baisse des coûts des énergies renouvelables. Les coûts solaires ont chuté d'un facteur de près de 100 en 50 ans, et les prix des batteries ont diminué de 97 % en 30 ans.

Un chemin vers une montée en puissance propre commence à se dessiner. Des investissements massifs sont en cours pour construire des clusters de 100 milliards de dollars avec des besoins énergétiques de 10 gigawatts. Ces superordinateurs de la taille d'un entrepôt ne sont plus de la science-fiction. Le terrain est préparé pour ces projets, tant aux États-Unis qu'à l'international. Chez Microsoft AI, le laboratoire de superintelligence se prépare à un monde d'abondance cognitive.

Conclusion : Une révolution en marche

Les sceptiques, habitués à un monde linéaire, continueront de prédire des rendements décroissants. Pourtant, l'explosion de la puissance de calcul est l'histoire technologique de notre époque. Et selon Mustafa Suleyman, ce n'est que le début.