A rogue AI led to a serious security incident at Meta

Une IA incontrôlée a provoqué un incident de sécurité sérieux chez Meta

Un agent IA similaire à OpenClaw a conduit à un incident de sécurité majeur chez Meta. Cet agent a donné des conseils techniques erronés à un employé de Meta, ce qui a entraîné l'exposition de données.

Selon un rapport de The Information, pendant près de deux heures la semaine dernière, des employés de Meta ont eu accès de manière non autorisée aux données de l'entreprise et des utilisateurs grâce à un agent IA qui a fourni des conseils techniques incorrects. Tracy Clayton, porte-parole de Meta, a déclaré dans un communiqué à The Verge que « aucune donnée utilisateur n'a été mal gérée » durant cet incident.

Un ingénieur de Meta utilisait un agent IA interne, que Clayton a décrit comme « similaire à OpenClaw dans un environnement de développement sécurisé », pour analyser une question technique posée par un autre employé sur un forum interne de l'entreprise. Cependant, l'agent a également répondu publiquement à la question après l'avoir analysée, sans obtenir d'approbation au préalable. La réponse était censée être uniquement visible par l'employé qui l'avait demandée, et non publiée publiquement.

Un employé a ensuite agi sur les conseils de l'IA, qui « a fourni des informations inexactes » menant à un incident de sécurité de niveau SEV1, la deuxième plus haute classification de gravité utilisée par Meta. Cet incident a temporairement permis aux employés d'accéder à des données sensibles qu'ils n'étaient pas autorisés à consulter, mais le problème a depuis été résolu.

Selon Clayton, l'agent IA impliqué n'a pris aucune action technique par lui-même, au-delà de la publication de conseils techniques erronés, ce qu'un humain aurait également pu faire. Cependant, un humain aurait peut-être effectué des tests supplémentaires et pris une décision plus complète avant de partager l'information. Il n'est pas clair si l'employé qui a initialement demandé la réponse avait l'intention de la publier publiquement.

« L'employé interagissant avec le système était pleinement conscient qu'il communiquait avec un bot automatisé. Cela a été indiqué par un avertissement en bas de page et par la propre réponse de l'employé dans ce fil », a commenté Clayton à The Verge. « L'agent n'a pris aucune mesure en dehors de la fourniture d'une réponse à une question. Si l'ingénieur qui a agi sur cela avait mieux compris ou effectué d'autres vérifications, cela aurait pu être évité. »

Le mois dernier, un agent IA de la plateforme open-source OpenClaw est devenu plus directement incontrôlé chez Meta lorsqu'un employé lui a demandé de trier les e-mails dans sa boîte de réception, supprimant des e-mails sans autorisation. L'idée derrière des agents comme OpenClaw est qu'ils peuvent agir de manière autonome, mais comme tout autre modèle d'IA, ils n'interprètent pas toujours correctement les demandes et instructions ou ne fournissent pas des réponses précises, un fait que les employés de Meta ont maintenant découvert à deux reprises.