OpenAI acquiert une jeune pousse méconnue, et c'est un énorme coup dans la guerre des agents IA

OpenAI acquiert une jeune pousse méconnue, et c'est un énorme coup dans la guerre des agents IA

La bataille de l'intelligence artificielle (IA) se joue aussi sur le terrain des acquisitions. OpenAI vient de réaliser un coup majeur en acquérant Promptfoo. Son nom est peut-être peu connu, mais son impact est déjà immense.

L'heure est à l'IA agentique, ces systèmes autonomes capables de prendre des décisions et d'exécuter des tâches complexes sans intervention humaine. OpenAI s'est officiellement lancée dans la course il y a à peine un mois avec Frontier, une plateforme dédiée à la création et à la gestion d'agents IA pour les entreprises.

Cependant, cette technologie, bien que puissante, présente également des risques importants en matière de cybersécurité. C'est précisément pour contrer ce problème qu'OpenAI a racheté Promptfoo, un spécialiste du red teaming.

Fondée il y a deux ans à San Francisco, cette start-up est spécialisée dans la sécurité des systèmes d'IA. Son principe consiste à tester les vulnérabilités des modèles avant leur déploiement en simulant des attaques réelles. Cette technique, appelée red teaming, consiste à jouer le rôle d'un attaquant pour identifier les failles. Plutôt que de recourir à des tests manuels, la plateforme automatise entièrement ce processus.

Il suffit de regarder la liste des clients de Promptfoo pour mesurer son attrait. Revendiquant plus de 125 000 développeurs utilisateurs, la jeune pousse est déjà exploitée par plus de 30 entreprises du Fortune 500, dans des secteurs aussi variés que la finance, la distribution ou les télécommunications. Elle compte également des investisseurs de renom dans la Silicon Valley.

OpenAI souligne dans un billet de blog :

• « À mesure que les entreprises déploient des assistants IA dans leurs processus de travail réels, l'évaluation, la sécurité et la conformité deviennent des exigences fondamentales.
• Les entreprises ont besoin de méthodes systématiques pour tester le comportement des agents, détecter les risques avant le déploiement et conserver des enregistrements clairs afin de faciliter la supervision, la gouvernance et la responsabilisation au fil du temps. »

Un agent IA incontrôlé serait catastrophique pour une entreprise. Étant donné que ces agents IA opèrent avec un niveau d'autonomie inédit, en accédant à des bases de données sensibles et à des flux de travail, ils représentent une porte d'entrée rêvée pour des attaques. Un système mal sécurisé peut être manipulé via une simple instruction malveillante, révélant des informations confidentielles, exécutant des actions non autorisées, voire compromettant l'ensemble d'un système d'information. C'est ce qu'on appelle la prompt injection.

Pour une entreprise, un agent IA incontrôlé représente un risque juridique, financier et réputationnel majeur. D'ailleurs, Anthropic, grande rivale d'OpenAI, a lancé fin février Claude Code Security, un outil qui scanne les bases de code à la recherche de failles de sécurité et propose des correctifs ciblés. Cela permet aux équipes de détecter et de corriger des problèmes que les méthodes traditionnelles manquent souvent.

En intégrant la technologie de Promptfoo, la société de Sam Altman entend garantir à ses clients un très haut niveau de sécurité et potentiellement se démarquer de la concurrence sur ce point.

À noter que Promptfoo est un outil open source utilisé par Google et Anthropic. La firme de Sam Altman assure qu'elle maintiendra ce statut et continuera de collaborer avec des clients externes, du moins pour le moment.