Anthropic face à des tensions internes : ses modèles d'IA suspendus

Les modèles d'intelligence artificielle d'Anthropic ont été mis hors ligne suite à des conflits internes, marqués par la déclaration "Ils nous ont trahis", selon des informations partagées par des sources proches de l'entreprise et de l'administration américaine. Ces tensions ont émergé dans un contexte de contrôles à l'exportation imposés par le gouvernement des États-Unis sur les modèles Mythos et Fable, développés par Anthropic.

Logan Graham, responsable de l'équipe Frontier Red chez Anthropic, Dave Orr, chargé des mesures de sécurité, et Nicholas Carlini, un blogueur influent, sont attendus à Washington D.C. pour une rencontre avec le Département du Commerce. Cette réunion pourrait être cruciale pour l'avenir des modèles d'Anthropic, alors que l'entreprise cherche à naviguer dans un paysage réglementaire complexe.

Les discussions autour de la sécurité des modèles d'Anthropic se concentrent sur la résistance aux contournements. Bien que l'entreprise affirme qu'aucun contournement universel n'a été identifié pour Claude Mythos, le gouvernement américain a réagi à un contournement potentiel, qualifié de "non universel" par Anthropic. Une source proche de l'administration a suggéré qu'un ajustement d'attitude pourrait être nécessaire pour que tout le monde se sente en sécurité, protégé et heureux.

Anthropic a également travaillé sur des "Classificateurs Constitutionnels" pour renforcer la sécurité de ses modèles. Cependant, la question de savoir si ces efforts suffiront à satisfaire les exigences américaines reste ouverte. De plus, le document de 2023 sur les Attaques Adversariales Universelles et Transférables sur les Modèles de Langage Alignés soulève des questions sur la capacité d'Anthropic à gérer ces types d'attaques. L'entreprise doit désormais s'assurer que ses modèles ne peuvent être contournés, bien que la perfection en matière de sécurité soit difficile à atteindre.