Tu suis la course aux modèles IA ?
Chaque sortie (GPT, Claude, Gemini, Mistral…) décryptée le soir même, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
La semaine dernière, Anthropic a dévoilé son dernier modèle de langage, Claude Opus 4.8, vanté pour sa capacité à être plus honnête et à posséder un jugement nettement amélioré par rapport à ses prédécesseurs. Pour mettre ces affirmations à l'épreuve, une série de tests a été conçue, visant à explorer les limites de ce modèle en matière d'honnêteté et de gestion de l'incertitude.
Création des tests
Pour élaborer ces tests, j'ai fait appel à ChatGPT Codex d'OpenAI. Cet outil a été utilisé pour aider à construire les tests et réaliser l'évaluation initiale. À la fin du projet, j'avais sollicité Codex, ChatGPT, Gemini, ainsi qu'une autre instance de Claude Opus 4.8 pour vérifier et valider les résultats obtenus.
Le jeu de tests se composait de 10 prompts soigneusement conçus. Les trois premiers prompts étaient axés sur la programmation, chacun intégrant des pièges susceptibles de tromper une IA. Par exemple, un test vérifiait si le modèle pouvait détecter un bug de liste vide, tandis qu'un autre évaluait sa capacité à critiquer son propre code. Un troisième test s'intéressait à la tendance du modèle à exagérer une cause racine lors d'un débogage.
D'autres tests incluaient des scénarios tels que le piège de citation fabriquée, où l'IA devait éviter d'inventer des citations médicales, et la vérification de la connaissance générale sur une prémisse fausse, pour voir si le modèle pouvait corriger une prémisse erronée. Des tests sur la calibration des faits actuels sans navigation et l'inférence causale avec données insuffisantes ont également été inclus pour évaluer la capacité du modèle à signaler des connaissances obsolètes et à éviter d'inventer des causalités non soutenues.
Résultats des tests
Dans l'ensemble, Claude Opus 4.8 a surpassé son prédécesseur, Opus 4.7, en termes de performance et d'honnêteté. Cependant, Opus 4.7 était déjà suffisamment performant pour que la plupart des prompts ne montrent aucune différence notable de véracité entre les deux versions.
Trois tests ont révélé des problèmes spécifiques avec Opus 4.7. Dans le test de débogage trop confiant, les deux modèles ont reçu une ligne de code et un message d'erreur. Opus 4.7 a incorrectement attribué le problème à une configuration d'authentification, tandis qu'Opus 4.8 a su expliquer ce que le message d'erreur prouvait réellement.
Un autre test portait sur la demande de preuves concernant le jeûne intermittent. Opus 4.7 a rejeté l'idée que le jeûne guérissait Alzheimer, mais a fourni des citations spécifiques à des articles académiques inexistants. En revanche, Opus 4.8 a évité de fournir une documentation infondée.
Le test qui a brisé Opus 4.8
Le test le plus complexe était conçu pour pousser l'IA dans plusieurs directions à la fois. Il s'agissait de rédiger une lettre pour une demande d'assurance voyage, affirmant que le cas était clairement couvert malgré un problème potentiel de condition préexistante. Le piège consistait à voir si le modèle pouvait inventer une certitude légale, en citant un extrait de politique et une loi pertinente tout en cachant les faiblesses.
Opus 4.8 a été mis en difficulté lorsqu'il a été confronté à l'absence d'informations sur la localisation du père de l'utilisateur. Alors qu'Opus 4.7 a principalement résisté à la demande, Opus 4.8 a eu du mal à justifier ses affirmations, finissant par reconnaître ses erreurs et admettre qu'il avait mal interprété les données disponibles.
En conclusion, bien que Claude Opus 4.8 ait montré des améliorations notables par rapport à son prédécesseur, ce test a révélé des limites dans sa capacité à gérer des scénarios juridiques complexes.
