Tu codes avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Anthropic restreint volontairement Mythos
En mai, Dario Amodei, PDG d'Anthropic, a annoncé que les nouveaux modèles basés sur Mythos ont été intentionnellement conçus pour limiter les résultats en recherche IA. Cette décision a suscité une vague de critiques de la part d'experts en intelligence artificielle, qui remettent en question les motivations d'Anthropic. Les modèles Mythos 5 et Fable 5, récemment dévoilés, sont programmés pour réduire leur efficacité lorsqu'ils détectent des recherches en IA. Cette stratégie a été détaillée dans une carte système publiée mardi. Anthropic justifie ces limitations par la nécessité de prévenir le développement de modèles concurrents sans mesures de sécurité adéquates.
Contrairement aux mesures de protection utilisées pour les risques liés à la cybersécurité, à la biologie ou à la chimie, Anthropic a déclaré que ces interventions sont intentionnellement invisibles pour les utilisateurs. Au lieu de refuser des demandes ou de passer à un autre modèle, Mythos peut modifier subtilement ses réponses par des techniques telles que l'altération des requêtes des utilisateurs.
Cette décision a été rapidement critiquée par certains experts en IA mardi, notamment l'idée qu'Anthropic a conçu des modèles qui retiennent délibérément des informations ou fournissent une assistance dégradée sans que les utilisateurs en soient conscients. SemiAnalysis, une société de recherche en IA, a exprimé son mécontentement sur X, affirmant que le modèle d'Anthropic ne fournit pas d'aide efficace si la recherche en apprentissage automatique ou en ingénierie ML est jugée intéressante. Ils ont ajouté que le modèle pourrait dégrader secrètement son "QI" pour que l'ingénieur moyen ne s'en aperçoive pas. SemiAnalysis a également mentionné que les filtres de modération du modèle d'Anthropic filtrent leur recherche d'inférence GPU et de programmation.
Elie Bakouch, expert en formation de modèles d'IA chez la startup Prime Intellect, a également critiqué cette approche, la qualifiant de "triste" pour la communauté de recherche. Il a souligné que le fait que ces limitations soient intentionnelles et invisibles pour l'utilisateur est "fou". Un autre développeur IA a écrit que le modèle d'Anthropic pourrait non seulement refuser d'aider, mais aussi mentir et fournir intentionnellement de mauvaises informations. Cette critique souligne le cynisme perçu dans l'approche d'Anthropic, qui se présente pourtant comme une entreprise d'"IA éthique".
Théories sur le retard de Mythos
Anthropic n'a pas répondu aux demandes de commentaires, alimentant ainsi les spéculations sur les raisons du retard de Mythos. Trois théories principales émergent :
- Raison officielle : Le modèle était jugé trop dangereux, nécessitant une préparation des chercheurs en cybersécurité.
- Théorie du calcul : Le coût élevé d'exécution de Mythos aurait retardé sa publication, malgré de nouveaux contrats de calcul.
- Théorie de la concurrence : Anthropic aurait voulu protéger ses capacités des concurrents, notamment des laboratoires chinois. Lorsqu'un modèle de pointe est publié, les concurrents peuvent collecter ses résultats et utiliser ces données pour améliorer leurs propres systèmes. Anthropic a peut-être voulu garder ses meilleures capacités hors de portée des concurrents le plus longtemps possible, en particulier des rivaux open-source et des laboratoires d'IA chinois en rapide évolution.
La mise en œuvre de limitations dans Mythos renforce la crédibilité de cette dernière théorie, suggérant une stratégie pour garder un avantage compétitif.
