Apple et Qualcomm : l'IA sous contrôle pour plus de sécurité

Des assistants IA de nouvelle génération

Dans le domaine de l'intelligence artificielle, Apple et des fabricants de puces comme Qualcomm sont en train de développer des assistants IA de nouvelle génération. Ces systèmes sont conçus pour accomplir des tâches variées, allant de la navigation dans des applications à la gestion de services. Cependant, des rapports préliminaires indiquent que ces assistants sont intentionnellement dotés de limites pour garantir la sécurité des utilisateurs.

Selon Tom’s Guide, ces assistants peuvent effectuer des actions telles que la réservation de services ou la publication de contenu dans des applications. Par exemple, lors d'un test en version bêta privée, un système agentique a pu traverser un flux de travail d'application jusqu'à atteindre un écran de paiement. À ce stade, il a demandé la confirmation de l'utilisateur avant de finaliser l'action, illustrant le modèle "humain dans la boucle".

Contrôle par l'utilisateur

Les agents IA sont conçus avec des points de contrôle d'approbation intégrés. Pour les actions sensibles, notamment celles qui impliquent des paiements ou des modifications de compte, la confirmation de l'utilisateur est requise avant toute finalisation. Cette approche garantit que le système ne peut pas effectuer des actions que l'utilisateur n'a pas explicitement demandées.

Cette méthode est déjà utilisée dans les applications bancaires, où une confirmation est nécessaire pour les transferts. Désormais, cette idée est appliquée aux actions pilotées par l'IA dans divers services, renforçant ainsi la sécurité et la confiance des utilisateurs.

Limites d'accès et confidentialité

Une autre couche de contrôle réside dans la restriction de l'accès de l'IA aux applications et aux données. Plutôt que de permettre un accès illimité, les entreprises établissent des limites claires sur les applications avec lesquelles l'IA peut interagir et sur le moment où les actions peuvent être déclenchées.

En pratique, cela signifie que l'IA peut rédiger un achat ou préparer une réservation, mais elle ne peut pas les finaliser sans l'approbation de l'utilisateur. De plus, le système ne peut pas se déplacer librement dans tous les services sans autorisation préalable. Cette fonctionnalité vise à protéger la confidentialité des utilisateurs en gardant les données sur l'appareil, éliminant ainsi le besoin d'envoyer des informations sensibles à des serveurs externes.

Sécurité renforcée dans les paiements

Dans le domaine des paiements, les systèmes IA sont conçus pour travailler avec des partenaires qui ont déjà des règles strictes en place. Par exemple, les services des fournisseurs de paiement sont intégrés pour fournir une authentification sécurisée avant que les transactions ne soient finalisées. Bien que ces mesures de sécurité soient encore en développement, elles ajoutent une couche supplémentaire de surveillance.

Les systèmes existants peuvent définir des limites de transaction ou exiger une vérification supplémentaire, garantissant ainsi que les actions sensibles sont surveillées et contrôlées.

Vers une autonomie contrôlée

À mesure que l'IA acquiert la capacité d'effectuer des actions, les risques associés augmentent également. Des erreurs peuvent entraîner des pertes financières ou une exposition de données. Pour gérer ces risques, les entreprises mettent en place des contrôles à plusieurs niveaux, incluant l'approbation utilisateur et une infrastructure sécurisée.

Cette approche pourrait influencer le développement futur de l'IA agentique. Plutôt que de viser une autonomie totale, les entreprises semblent privilégier des environnements contrôlés où les risques peuvent être mieux gérés. Cela pourrait façonner la manière dont l'IA agentique se développe à court terme, en mettant l'accent sur la sécurité et le contrôle.