Niv-AI exits stealth to wring more power performance out of GPUs

Niv-AI sort de l'ombre pour optimiser la performance énergétique des GPU

L'électricité est une ressource clé pour l'intelligence artificielle, mais les nouvelles techniques de traitement dépassent la capacité des opérateurs de centres de données à gérer leur relation avec le réseau électrique, les obligeant à réduire leur consommation de jusqu'à 30 %.

« Il y a tellement de puissance gaspillée dans ces usines d'IA », a déclaré le PDG de Nvidia, Jensen Huang, lors d'un discours d'ouverture à la conférence annuelle GTC de l'entreprise. « Chaque watt inutilisé est une perte de revenus », a affirmé la société lors de sa présentation annuelle.

Aujourd'hui, la start-up Niv-AI a émergé de l'ombre avec 12 millions de dollars de financement initial pour résoudre ce problème en mesurant précisément l'utilisation de l'énergie des GPU grâce à de nouveaux capteurs et en développant des outils pour la gérer plus efficacement.

Basée à Tel Aviv, la start-up a été fondée l'année dernière par le PDG Tomer Timor et le CTO Edward Kizis, et est soutenue par Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward et Aurora Capital Partners. L'entreprise a refusé de communiquer sa valorisation.

Alors que les laboratoires de pointe exploitent des milliers de GPU en concert pour entraîner et exécuter des modèles avancés, il y a des pics de demande en énergie à l'échelle de la milliseconde lorsque les processeurs passent d'une tâche de calcul à la communication avec d'autres GPU.

Ces pics compliquent la gestion de l'énergie que les centres de données tirent du réseau. Pour éviter de se retrouver sans électricité suffisante, les centres de données paient pour un stockage temporaire d'énergie pour couvrir les pics ou réduisent leur utilisation de GPU. Dans les deux cas, cela réduit le retour sur investissement des puces coûteuses.

« Nous ne pouvons tout simplement pas continuer à construire des centres de données de la manière dont nous les construisons actuellement », a déclaré Lior Handlesman, partenaire chez Grove Ventures et membre du conseil d'administration de Niv.

La feuille de route de Niv-AI

La première étape de la feuille de route de Niv consiste à comprendre ce qui se passe ; l'entreprise déploie actuellement des capteurs au niveau des racks qui détectent l'utilisation de l'énergie à la milliseconde près sur les GPU qu'elle possède et avec des partenaires de conception. L'objectif est de comprendre les profils de consommation d'énergie spécifiques des différentes tâches d'apprentissage profond et de développer des techniques d'atténuation permettant aux centres de données de libérer une plus grande partie de leur capacité existante.

Naturellement, les ingénieurs s'attendent à construire un modèle d'IA sur les données qu'ils collectent, avec l'objectif de l'entraîner à prédire et synchroniser les charges électriques à travers le centre de données — un « copilote » pour les ingénieurs des centres de données.

Niv s'attend à avoir un système opérationnel dans quelques centres de données américains dans les six à huit mois. C'est une idée attrayante alors que les hyperscalers tentent de construire de nouveaux centres de données face à des difficultés d'utilisation des terres et des problèmes de chaîne d'approvisionnement. Les fondateurs voient leur produit ultime comme une couche d'« intelligence » manquante entre les centres de données et le réseau électrique.

« Le réseau a en fait peur que le centre de données consomme trop d'énergie à un moment donné », a déclaré Timor à TechCrunch. « Le problème que nous examinons est un problème à deux faces. D'une part, il s'agit d'aider les centres de données à utiliser plus de GPU et, espérons-le, à tirer davantage parti de l'énergie qu'ils paient déjà. D'autre part, vous pouvez également créer des profils de consommation d'énergie beaucoup plus responsables entre les centres de données et le réseau. »