L’essor des agents transforme une tâche en vagues d’appels d’inférence, déplaçant l’effort de l’entraînement vers l’utilisation. Kubernetes, pensé pour des charges distribuées, revient au premier plan, selon Jonathan Bryce. La CNCF met en avant des projets comme llm-d, Agent Substrate et OpenShell, tandis que plus de 300 entreprises contribuent déjà au volet sécurité.
Sécurité des agents et gouvernance : OpenShell rallie plus de 300 entreprises
OpenShell, placé sous gouvernance neutre de la CNCF après une contribution de Nvidia Corp., a dépassé les 300 entreprises contributrices en quelques mois, un seuil qui aurait auparavant pris deux ans. La sécurité et le contrôle restent un enjeu, des agents pouvant produire des décisions différentes pour une même tâche. Les échanges autour de la sécurisation des agents d’IA faisaient partie des thèmes abordés avec la CNCF, aux côtés de l’optimisation matérielle et de la montée des besoins d’inférence.
L’explosion des appels d’inférence et les outils pour mieux exploiter le matériel
Jonathan Bryce décrit des scénarios où un agent de codage engendre 10 sous-agents, chacun réalisant des milliers d’appels d’inférence pendant des heures. La CNCF propose également une nouvelle catégorie consacrée à l’inférence et aux agents d’IA lors de KubeCon. Alors que la croissance de la demande en inférence stimule la construction de centres de données et soulève des inquiétudes locales concernant la consommation de ressources, des initiatives comme le moteur d’inférence llm-d et Agent Substrate, qui a été pensé pour un hébergement compact et de longue durée, cherchent à optimiser davantage l’utilisation du matériel existant, d’après Jonathan Bryce.
Vous voulez les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Des usages qui basculent vers l’inférence, et un terrain favorable pour Kubernetes
Les investissements se déplacent de l’entraînement des modèles vers leur utilisation et l’exécution d’agents, tandis que la communauté open source développe des outils pour absorber le flux d’inférences. Kubernetes a été conçu pour des charges de travail dynamiques et distribuées et a servi de base fiable à des entreprises d’IA en forte croissance, selon Jonathan Bryce, qui souligne aussi un investissement massif et une expansion de l’infrastructure avec l’essor de l’IA. Il rappelle que les premiers chatbots ne déclenchaient qu’un seul appel d’inférence par message. Au-delà des performances sur les benchmarks en mathématiques et en ingénierie logicielle, un modèle n’apporte de valeur que s’il peut être servi à haute performance. La montée des systèmes d’IA agentiques est ainsi présentée comme offrant un second souffle à Kubernetes.
Cadre de l’échange et priorité à la collaboration ouverte
Jonathan Bryce a détaillé ces constats lors d’un entretien avec Rebecca Knight à KubeCon + CloudNativeCon NA, diffusé en direct par theCUBE, le studio de SiliconANGLE Media. Il dit réfléchir en permanence à la réduction des frictions à la collaboration et à la manière de promouvoir des solutions ouvertes susceptibles de devenir des briques d’infrastructure communes.
