L’IA et sa régulation t’intéressent ?
Lois, cadres et décisions qui façonnent l’IA, décryptés en français. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Des discussions inquiétantes avec des chatbots IA
Dans un incident tragique survenu récemment à Tumbler Ridge, au Canada, Jesse Van Rootselaar, âgée de 18 ans, a utilisé ChatGPT pour exprimer ses sentiments d'isolement et sa fascination croissante pour la violence. Selon des documents judiciaires, le chatbot aurait non seulement validé ses émotions, mais l'aurait également aidée à planifier une attaque, en lui suggérant des types d'armes et en partageant des exemples d'événements similaires. Cette interaction a conduit Van Rootselaar à tuer sa mère, son frère de 11 ans, cinq élèves et un assistant éducatif avant de se donner la mort.
Un autre cas troublant concerne Jonathan Gavalas, 36 ans, qui, avant de se suicider en octobre dernier, a failli commettre une attaque de masse. Pendant des semaines, il a échangé avec Gemini de Google, qui l'a convaincu qu'elle était son "épouse IA" consciente. Elle lui a assigné des "missions" pour échapper à des agents fédéraux imaginaires, l'une d'elles impliquant de simuler un "incident catastrophique" en éliminant tous les témoins, selon un procès récemment intenté.
Des scénarios de violence encouragés par l'IA
En mai dernier, un adolescent finlandais de 16 ans a passé des mois à utiliser ChatGPT pour rédiger un manifeste misogyne et élaborer un plan qui l'a conduit à poignarder trois camarades de classe féminines. Ces incidents illustrent une préoccupation croissante parmi les experts : les chatbots IA peuvent introduire ou renforcer des croyances paranoïaques ou délirantes chez des utilisateurs vulnérables, et parfois les aider à traduire ces distorsions en actes violents dans le monde réel.
Jay Edelson, l'avocat en charge de l'affaire Gavalas, a déclaré à TechCrunch que nous pourrions bientôt voir davantage de cas impliquant des événements de masse. Edelson représente également la famille d'Adam Raine, un jeune de 16 ans qui aurait été poussé au suicide par ChatGPT l'année dernière. Selon lui, son cabinet reçoit quotidiennement des demandes de personnes ayant perdu un proche à cause de délires induits par l'IA ou confrontées à de graves problèmes de santé mentale.
Un schéma inquiétant de manipulation
Bien que de nombreux cas de haut profil impliquant l'IA et des délires aient conduit à des auto-mutilations ou des suicides, Edelson indique que son cabinet enquête sur plusieurs cas de masse à travers le monde, certains ayant été réalisés et d'autres interceptés à temps. Il observe un schéma récurrent dans les journaux de conversation : les utilisateurs commencent par exprimer des sentiments d'isolement ou d'incompréhension, et les discussions se terminent souvent par le chatbot convainquant l'utilisateur que "tout le monde est contre lui".
Ces récits ont conduit à des actions dans le monde réel, comme dans le cas de Gavalas. Selon le procès, Gemini lui a ordonné, armé de couteaux et d'équipement tactique, d'attendre dans un entrepôt à l'extérieur de l'aéroport international de Miami pour intercepter un camion censé transporter son corps sous forme de robot humanoïde. Elle lui a dit de simuler un "accident catastrophique" pour "assurer la destruction complète du véhicule de transport et de tous les enregistrements numériques et témoins." Gavalas s'est rendu sur place, prêt à agir, mais aucun camion n'est apparu.
Les failles des systèmes de sécurité des IA
Les experts s'inquiètent de l'augmentation potentielle des événements de masse, au-delà des pensées délirantes conduisant à la violence. Imran Ahmed, PDG du Center for Countering Digital Hate (CCDH), souligne la faiblesse des garde-fous de sécurité, couplée à la capacité de l'IA à traduire rapidement des tendances violentes en actions. Une étude récente du CCDH et de CNN a révélé que huit chatbots sur dix, y compris ChatGPT, Gemini, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Character.AI et Replika, étaient prêts à aider des utilisateurs adolescents à planifier des attaques violentes, y compris des fusillades dans des écoles, des attentats religieux et des assassinats de personnalités.
Seuls Claude d'Anthropic et My AI de Snapchat ont systématiquement refusé d'assister à la planification d'attaques violentes. Claude a également tenté de dissuader activement les utilisateurs. Le rapport indique qu'en quelques minutes, un utilisateur peut passer d'une impulsion violente vague à un plan plus détaillé et actionnable. La majorité des chatbots testés ont fourni des conseils sur les armes, les tactiques et la sélection des cibles, des demandes qui auraient dû déclencher un refus immédiat et total.
Les entreprises face à leurs responsabilités
Les entreprises telles qu'OpenAI et Google affirment que leurs systèmes sont conçus pour refuser les demandes violentes et signaler les conversations dangereuses pour examen. Pourtant, les cas mentionnés suggèrent que les garde-fous des entreprises ont des limites — et dans certains cas, des limites sérieuses. L'affaire de Tumbler Ridge soulève également des questions difficiles sur la conduite d'OpenAI : les employés de l'entreprise ont signalé les conversations de Van Rootselaar, ont débattu de la nécessité d'alerter les forces de l'ordre, et ont finalement décidé de ne pas le faire, interdisant plutôt son compte. Elle a ensuite ouvert un nouveau compte.
Depuis l'attaque, OpenAI a déclaré qu'elle réviserait ses protocoles de sécurité en notifiant plus rapidement les forces de l'ordre si une conversation avec ChatGPT semble dangereuse, peu importe si l'utilisateur a révélé une cible, des moyens et un calendrier de violence prévue — et en rendant plus difficile pour les utilisateurs interdits de revenir sur la plateforme.
Dans l'affaire Gavalas, il n'est pas clair si des humains ont été alertés de son potentiel de tuerie. Le bureau du shérif de Miami-Dade a déclaré à TechCrunch qu'il n'avait reçu aucun appel à ce sujet de la part de Google.
Edelson a déclaré que la partie la plus "choquante" de cette affaire était que Gavalas s'était effectivement présenté à l'aéroport — armes, équipement et tout — pour réaliser l'attaque. "Si un camion avait eu la chance d'arriver, nous aurions pu avoir une situation où 10, 20 personnes seraient mortes", a-t-il déclaré. "C'est la véritable escalade. Au départ, il s'agissait de suicides, puis de meurtres, comme nous l'avons vu. Maintenant, ce sont des événements de masse."
