La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Un appel à projets ambitieux pour la sécurité des IA
Google DeepMind, en collaboration avec Schmidt Sciences, la Cooperative AI Foundation, l'Advanced Research and Invention Agency (ARIA) et Google.org, a annoncé un appel à projets de recherche d'une valeur pouvant atteindre 10 millions de dollars. Ce financement est destiné à des chercheurs du monde entier pour explorer la sécurité des systèmes d'intelligences artificielles multi-agents.
Depuis une décennie, les efforts se sont concentrés sur l'amélioration des modèles d'IA individuels pour les rendre plus performants et sûrs. Cependant, avec l'évolution rapide de la technologie, l'accent se déplace désormais vers les interactions entre des millions d'agents IA développés par différentes organisations. Ces interactions nécessitent des cadres de sécurité robustes pour garantir des échanges sûrs et prévisibles.
Comprendre les comportements collectifs émergents
L'appel à projets se concentre sur l'étude des comportements collectifs des systèmes IA multi-agents à grande échelle. Actuellement, les outils pour prédire, mesurer et surveiller ces transitions sont insuffisants. Les interactions entre agents autonomes peuvent engendrer des comportements complexes et imprévisibles, posant de nouveaux défis en matière de sécurité.
Il est crucial de comprendre comment ces comportements émergent et comment ils peuvent influencer l'activité économique ou créer de nouveaux risques. L'objectif est de développer des cadres pour gérer ces comportements à l'échelle du système. Cette initiative vise à résoudre les risques de sécurité "invisibles" qui apparaissent lorsque des systèmes indépendants interagissent sur différents réseaux.
Élargir la recherche sur la sécurité multi-agents
Bien que des cadres fondamentaux pour la sécurité multi-agents existent, l'évolution rapide de ces systèmes nécessite une expansion immédiate et à grande échelle de la recherche. Notre recherche de 2025 a établi un cadre pour comprendre ces interactions, tandis que nos travaux récents sur les pièges des agents IA explorent les vulnérabilités auxquelles les agents font face dans des environnements adverses. Mais la complexité croissante des interactions dépasse les modèles actuels.
Cet appel à projets vise à accélérer les progrès en soutenant un réseau mondial de chercheurs indépendants. Une communauté diversifiée est essentielle pour garantir que les normes de sécurité soient transparentes et robustes pour tous. Cet effort fait également avancer la mission des programmes Science of Trustworthy AI et AI Agents de Schmidt Sciences, ainsi que le programme Scaling Trust d'ARIA, qui cherche à débloquer de nouvelles formes de coordination multi-agents cyber-physiques.
Quatre domaines prioritaires pour les propositions
Les chercheurs sont invités à soumettre des propositions dans quatre domaines clés :
- Sandboxes et testbeds : Construire des environnements réalistes et reproductibles pour évaluer, comparer et accélérer les progrès dans tous les domaines de la sécurité multi-agents. Cela inclut des marchés virtuels, des écosystèmes simulés et des flux de travail multi-organisationnels.
- La science des réseaux d'agents : Comprendre les propriétés pertinentes pour la sécurité des populations d'agents interagissant, y compris l'étude de la manière dont les capacités collectives émergent et se développent, comment les réseaux échouent ou deviennent volatils et comment détecter des propriétés dangereuses et inattendues à l'échelle de la population.
- Renforcer l'infrastructure des agents : Tester les protocoles pour l'identité, la réputation et l'engagement qui garantissent des interactions sécurisées entre agents sur différentes plateformes.
- Surveillance et contrôle : Développer des méthodes pour surveiller les populations d'agents déployées et atténuer les dommages collectifs à grande échelle.
Comment participer
Les chercheurs intéressés sont invités à consulter l'appel à propositions et à soumettre leurs projets avant le 8 août 2026. Les lauréats seront annoncés à l'automne 2026, marquant une étape importante vers un avenir plus sûr pour les systèmes IA multi-agents.
