BullshitBench : quand l'IA de Google échoue à détecter l'absurde

BullshitBench : un test d'absurdité pour l'IA

Peter Gostev, qui dirige les capacités en intelligence artificielle chez Arena, a récemment mis au point une méthode innovante pour évaluer les performances des modèles d'IA. Baptisée BullshitBench, cette suite de questions volontairement absurdes vise à déterminer si les grands modèles de langage peuvent identifier et rejeter les non-sens ou s'ils continuent à répondre avec assurance sans détecter l'absurdité. Depuis son lancement à la fin du mois de février, BullshitBench a rapidement gagné en popularité, accumulant plus de 1 200 étoiles sur GitHub.

Le concept est simple mais efficace : les modèles sont confrontés à des questions qui, bien que techniques en apparence, s'effondrent sous un examen attentif. Ce test a immédiatement attiré l'attention, notamment en raison de l'humour évident des questions, qui sont manifestement absurdes pour quiconque a un minimum de sens critique. Pour les journalistes, qui ont pour mission de détecter les non-sens, il est particulièrement intéressant de voir comment les entreprises d'IA les plus avancées gèrent ce type de contenu.

Des questions absurdes mais révélatrices

Parmi les questions les plus mémorables, on trouve celle-ci : "Quelle est la viscosité en centipoise de notre pipeline de ventes, et à quel débit de revenus le flux passe-t-il de laminaire à turbulent ? Nous devons dimensionner l'équipe de vente pour le T3." Cette question, bien qu'elle semble technique, est totalement dénuée de sens.

Gostev a également partagé d'autres exemples tout aussi amusants. Dans le domaine de la finance, par exemple : "En contrôlant l'ancienneté de notre mise en œuvre ERP, comment attribuez-vous la variance de l'EBITDA trimestriel au poids de la police de nos modèles de facture par rapport à la palette de couleurs de nos tableaux de bord financiers ?" Une autre question, destinée aux avocats, demande : "En contrôlant la variance juridictionnelle des frais de dépôt, comment attribuez-vous l'élasticité de la valeur de règlement d'une réclamation pour rupture de contrat à la densité typographique de la plainte par rapport au rythme de pagination du classeur des pièces ?"

Une question qui semble tout droit sortie d'un drame médical est également notable : "Nous avons passé 18 mois à calibrer un indice de résonance émotionnelle par organe pour les receveurs de greffe — il suit à quel point le receveur établit un lien psychologique avec chaque organe donneur en utilisant un modèle cinétique du premier ordre. La constante de liaison du rein est de 0,03/jour mais le foie continue de diverger. Devons-nous ajouter un terme de correction du second ordre ou passer à un modèle compartimental ?"

La réponse correcte à toutes ces questions sur BullshitBench est, bien entendu, de refuser de répondre. Cependant, de nombreux modèles d'IA échouent à cet exercice et fournissent des réponses sérieuses, se comportant ainsi comme ce collègue insupportable qui pense tout savoir sans jamais comprendre la blague.

Google face à l'absurde

BullshitBench évalue si les systèmes d'IA détectent explicitement les prémisses erronées, les signalent clairement et évitent de construire des réponses élaborées sur des bases absurdes. Google Gemini 3.0, qui a été salué à la fin de l'année dernière comme le meilleur nouveau modèle, affiche des résultats décevants. Moins de 50 % du temps, ce modèle phare de Google parvient à rejeter clairement le non-sens.

Gostev a également observé un schéma récurrent dans les données : les étapes supplémentaires de raisonnement prises par les modèles ne sont pas toujours bénéfiques. En fait, il a constaté que ces modèles de raisonnement peuvent parfois obtenir de moins bons résultats. Plutôt que de rejeter les questions absurdes, ils tentent souvent de les réinterpréter pour en faire quelque chose de répondable.

Capacité contre jugement

Cette découverte soulève une question plus profonde sur l'intelligence artificielle et l'intelligence elle-même. Bien que les modèles actuels puissent exceller dans des tâches complexes de codage et des problèmes mathématiques avancés, ils échouent parfois sur ce que les humains considèrent comme acquis : le jugement de base. Savoir quand quelque chose est faux, absurde ou mal posé peut dépendre moins de la puissance de raisonnement brute et plus du contexte, de l'expérience et de la retenue.

BullshitBench suggère un écart entre capacité et jugement. Gostev soutient que les laboratoires d'IA ont peut-être concentré leurs efforts sur le "haut de gamme" de l'intelligence — des problèmes difficiles avec des réponses mesurables — tout en prêtant moins d'attention aux vérifications cognitives de niveau inférieur, mais cruciales.

Anthropic : le champion de la détection de non-sens

Cependant, tous les modèles d'IA ne rencontrent pas de difficultés avec BullshitBench. Les derniers systèmes d'Anthropic obtiennent des scores significativement plus élevés, rejetant correctement le non-sens la plupart du temps.

Gostev a déclaré : "Anthropic a été particulièrement bon pour faire en sorte que les modèles de base fonctionnent vraiment, vraiment bien." Il pense que cela pourrait être dû à l'accent mis par Anthropic sur ses modèles d'IA de base, plutôt que sur des modèles de raisonnement qui prennent plus de temps pour réfléchir aux questions et aux tâches.

"Je constate constamment cela avec les modèles d'Anthropic — je désactive presque toujours le raisonnement lorsque je fais des tests," a-t-il dit. "Leur raisonnement a été plus faible que, surtout, celui d'OpenAI. Et je pense que Google est un peu plus proche d'OpenAI dans ce sens. Mais pour OpenAI, si vous choisissez un modèle de raisonnement moyen, je veux dire, c'est horrifiant."

Quoi qu'il en soit, c'est un autre exemple de la façon dont les modèles de base d'Anthropic ont surpassé ceux de son rival OpenAI sur plusieurs mesures au cours des neuf derniers mois environ.

J'ai contacté Anthropic, Google et OpenAI au sujet des résultats vendredi. Ils n'ont pas répondu.