Instinct : Shinn évoque une hallucination, pas de fuite de données

Un utilisateur a cru voir une photo d'autrui apparaître dans son chat avec Instinct. Noah Shinn, fondateur de l'assistant IA sur invitation, affirme qu'il ne s'agit pas d'une violation de données mais d'une hallucination, et met en avant des garde-fous techniques. Il dit travailler sur une couche de détection active, alors que sa startup a récemment levé 250 millions de dollars et que Meta pousse aussi ses agents personnels.

Le marché des agents s’emballe, entre tours de table et nouveaux lancements

Instinct, assistant IA accessible uniquement sur invitation, a suscité un vif intérêt dans la Silicon Valley cet été. La startup de Noah Shinn, Spear Street, a levé 250 millions de dollars, atteignant une valorisation de 2,5 milliards de dollars. Ces agents personnels s'intègrent dans les usages quotidiens, comme la gestion d'appels à des compagnies d'assurance ou la réservation de billets de cinéma. Meta a lancé son propre agent, Muse, le 8 septembre, qui s'est rapidement hissé en tête des applications les plus téléchargées sur appareils Apple et Android. Plus globalement, les assistants IA personnels connaissent une popularité croissante dans le secteur technologique.

Un échange contesté : un nom inventé et une photo jamais envoyée

Sur X, l'utilisateur @prit4k a rapporté qu'Instinct lui avait indiqué qu'une photo avait « traversé » leur conversation. Les captures d'écran publiées montrent que l'assistant aurait fourni le deuxième prénom d'une tierce personne et évoqué une image issue d'un document lié à de l'argent, que l'utilisateur affirme ne jamais avoir envoyée. Instinct s'est excusé et a qualifié l'incident de « grave bug ». L'internaute a alors demandé publiquement s'il s'agissait d'une fuite de données ou d'une hallucination.

La ligne de défense de Noah Shinn et la promesse d’une couche anti-hallucinations

Noah Shinn affirme que l'incident relève d'une hallucination : l'agent aurait inventé un nom propre et amplifié l'erreur par son raisonnement. Il assure qu'il n'y a pas eu de violation de données, ni de partage d'informations utilisateur, ni de brèche d'isolement entre comptes, sans préciser comment il établit que le cas signalé relève de l'hallucination. Il met en avant des protections existantes, comme la partition des données, des bacs à sable isolés, des identifiants locaux à courte durée de vie et une exécution d'outils signée par l'identité. Shinn indique que son équipe a travaillé durant les 48 dernières heures à un système de détection d'hallucinations actif, présenté comme capable d'anticiper ou d'intercepter un prochain raisonnement ou appel d'outil, avec des détails à venir dans les semaines suivantes. Il n'a pas répondu immédiatement à une demande de commentaire envoyée en dehors des heures ouvrées. Plus tôt ce mois-ci, le journaliste Pranav Dixit a testé l'assistant et a écrit avoir été impressionné par son aide intuitive dans les tâches quotidiennes.