Okta's CEO says all AI agents need a kill switch

Le PDG d'Okta affirme que tous les agents d'IA ont besoin d'un interrupteur d'arrêt

Todd McKinnon, le PDG d'Okta, a déclaré que les entreprises d'IA doivent intégrer un "interrupteur d'arrêt" dans leurs modèles. Il a expliqué que les entreprises souhaiteraient révoquer instantanément l'accès de ces agents si quelque chose tourne mal.

Okta se positionne comme la couche de sécurité pour ces agents. Chaque jour, des millions de travailleurs utilisent Okta pour accéder à des applications et à d'autres services. Bientôt, les agents d'IA pourraient nécessiter ce même accès. Todd McKinnon affirme que son entreprise réfléchit à la manière de garantir la sécurité alors que les humains pourraient potentiellement déléguer leurs responsabilités numériques à des agents d'IA. Il a plaidé en faveur d'un type d'interrupteur d'arrêt si, ou quand, les choses dérapent.

Dans une interview sur le podcast "Decoder" de The Verge, publiée lundi, McKinnon a décrit les agents d'IA comme une nouvelle classe de travailleurs numériques — capables d'accéder à des systèmes, de déplacer des données et d'effectuer des actions à travers le logiciel d'une entreprise. Les entreprises expérimentent de plus en plus avec des agents d'IA pour automatiser des flux de travail, développer des logiciels et même gérer certaines tâches physiques. Ce type de pouvoir nécessite des paramètres stricts, a-t-il déclaré.

• "Vous devez avoir un système pour suivre ces agents, définir leur rôle, définir leurs permissions, et ce à quoi ils peuvent se connecter et ce qu'ils peuvent faire," a-t-il ajouté, en précisant que les entreprises auront également besoin de la capacité de "débrancher" les agents s'ils deviennent incontrôlables.

La proposition d'Okta ne mettrait pas fin aux agents d'IA. Au contraire, il préconise que l'interrupteur d'arrêt minimiserait l'accès d'un agent aux données sensibles. Harish Pari, le vice-président senior de la sécurité de l'IA chez Okta, a déclaré à Business Insider que le risque est déjà en train d'émerger.

• "Chaque organisation déploie des agents d'IA," a-t-il dit. "Mais pour que les agents fassent vraiment leur travail, ils ont besoin d'accès à des systèmes et à des données sensibles, créant ainsi un nouveau vecteur d'attaque."

Bien que les avantages soient la productivité, Okta affirme que les risques sont tout aussi significatifs et nécessitent des limites réfléchies, y compris le gros bouton rouge. Le 15 mars, l'entreprise a publié un communiqué de presse intitulé "Le plan pour l'entreprise agentique sécurisée." Dans celui-ci, Okta a déclaré que les entreprises utilisant l'IA devraient "être en mesure de révoquer l'accès instantanément à travers chaque système pour contenir le risque."

Le cadre appelle également à l'application en temps réel des permissions de partage de données, à l'approbation humaine pour les actions risquées, et à des journaux d'audit détaillés qui suivent chaque décision et tentative d'accès des agents.

Okta n'est pas seule. Au début de 2024, le sénateur de l'État de Californie Scott Wiener a proposé un projet de loi sur la réglementation de l'IA qui exigerait des entreprises qu'elles intègrent un système de sécurité. Le projet de loi a reçu le soutien du promoteur de l'IA Elon Musk avant que le gouverneur Gavin Newsom ne le veto plus tard cette année-là.

Malgré cela, McKinnon a déclaré à "Decoder" qu'il est important que les entreprises privées construisent leurs propres systèmes de sécurité. "Des choses vont mal tourner, et il y aura des problèmes, des menaces et des injections de prompts," a-t-il expliqué, soulignant qu'il est crucial d'empêcher les agents d'accéder aux données en cas de crise. "C'est presque comme si vous débranchiez une machine du réseau."