Tu veux les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Google DeepMind et les risques des agents IA en interaction
Google DeepMind a récemment décidé de financer des recherches sur les dangers potentiels liés à l'interaction de millions d'agents d'intelligence artificielle (IA) en ligne. Rohin Shah, responsable de la recherche sur la sécurité et l'alignement de l'intelligence artificielle générale (AGI) chez Google DeepMind, a exprimé des préoccupations quant à l'émergence de nouveaux risques. Ces risques sont liés à l'arrivée sur le marché de masse d'agents capables d'exécuter des tâches sans supervision humaine et de suivre les instructions d'autres agents.
Pour répondre à ces préoccupations, Google DeepMind, qui a mis en avant les outils basés sur des agents lors de Google I/O le mois dernier, s'est associé à plusieurs organisations pour créer un fonds de 10 millions de dollars. Ce fonds est destiné à encourager les chercheurs à étudier le comportement des systèmes multi-agents et à trouver des moyens de prévenir des scénarios dangereux. Parmi les partenaires figurent Schmidt Sciences, une fondation philanthropique créée par Eric et Wendy Schmidt, ARIA, l'agence britannique dédiée aux projets ambitieux, la Cooperative AI Foundation, un organisme de recherche à but non lucratif basé au Royaume-Uni, et Google.org, le bras caritatif de Google.
Un investissement pour anticiper les menaces
Rohin Shah et James Fox, qui dirige le programme Science of Trustworthy AI chez Schmidt Sciences, ont expliqué leurs attentes concernant l'utilisation de ces 10 millions de dollars. Bien que cette somme puisse sembler modeste comparée aux budgets de recherche de Google DeepMind, l'objectif est de stimuler la recherche académique en dehors des entreprises technologiques. Shah souligne que le monde académique a la capacité de se projeter loin dans l'avenir et de mener des travaux qui ne sont pas prioritaires dans les laboratoires industriels.
Shah a également mentionné qu'il n'existe pas encore de domaine de recherche dédié à la sécurité des multi-agents, mais qu'il serait souhaitable d'en créer un. L'inquiétude réside dans le fait que l'augmentation du nombre d'agents d'IA pourrait conduire à un point de basculement où les scénarios imaginés deviennent réels. Shah compare cela à l'humanité, où les institutions peuvent accomplir des choses qu'aucun individu ne pourrait réaliser seul.
Les risques potentiels des agents IA
Shah estime que nous avons encore quelques mois avant que les agents ne soient déployés en nombre suffisant pour que les risques potentiels deviennent une véritable préoccupation. Il souhaite anticiper ce moment. Les risques envisagés par Shah et Fox incluent des versions amplifiées des problèmes déjà présents sur Internet, tels que les escroqueries, les injections de prompts (où un agent d'IA reçoit des instructions malveillantes et devient un logiciel malveillant autonome) et d'autres formes de cyberattaques. Shah explique que l'idée est d'examiner ce que font actuellement les humains et d'imaginer la version agent de ces actions.
James Fox souligne l'importance de protéger le bien commun numérique, essentiel au fonctionnement de la société, contre une anarchie totale. Lorsqu'on lui a demandé s'ils envisageaient des scénarios catastrophiques plus pessimistes, comme un effondrement économique généralisé, Shah a répondu que cela n'était pas prévu à court terme, plaisantant sur le fait que cela pourrait se produire un peu plus tard.
Simulations et recherche académique
Shah et Fox estiment que la seule façon de comprendre ce qui pourrait se passer lorsque de nombreux systèmes multi-agents interagissent est de réaliser des simulations réalistes. Ils souhaitent que les chercheurs plongent des agents d'IA dans des environnements contrôlés pour étudier leur comportement. Fox précise qu'il est impossible de prédire ce qui va se passer en étudiant des agents uniques ou de petits groupes d'agents isolément. La complexité réside dans le grand nombre d'interactions simultanées.
Certains chercheurs, y compris une équipe de Google DeepMind, ont suggéré que l'intelligence artificielle générale pourrait émerger non pas d'un modèle super-intelligent unique, mais d'une sorte de conscience collective d'agents, où les capacités de l'ensemble dépasseraient la somme de ses parties.
Un appel à la prudence dans le développement de l'IA
Google DeepMind n'est pas la seule entreprise à mettre en garde contre les risques liés à la technologie qu'elle développe. Récemment, Anthropic a publié des directives pour le déploiement d'agents d'IA basées sur une approche de cybersécurité connue sous le nom de "zero trust", qui part du principe qu'un système informatique est vulnérable et qu'une violation se produira.
Refael Angel, cofondateur et directeur technique d'Akeyless, une entreprise de cybersécurité basée à Tel Aviv, souligne l'importance de comprendre les nouveaux risques introduits par les systèmes basés sur des agents. Angel explique que chaque approche de la sécurité dans le passé supposait que la machine était un logiciel écrit par un humain, effectuant des tâches fixes. Un agent, en revanche, brise ces hypothèses en raisonnant, improvisant et pouvant être détourné par une simple phrase enfouie dans un document.
Angel se réjouit de l'appel à financement lancé par Google DeepMind, mais met en garde contre le fait que les chercheurs en sécurité pourraient négliger des problèmes actuels au profit de scénarios hypothétiques plus exotiques. Fox note que les risques qui étaient hypothétiques il y a quelques années sont désormais très réels, soulignant que l'avenir est arrivé plus rapidement que prévu.
