IA et pelicanmaxxing : mythe ou réalité selon une analyse rigoureuse ?

Dylan Castillo a mené une étude approfondie pour déterminer si les laboratoires d'intelligence artificielle ont intentionnellement entraîné leurs modèles à exceller dans le dessin de pélicans sur des vélos. Cette question, bien que peu scientifique, a suscité un débat parmi les experts du domaine.

Pour tester cette hypothèse, Castillo a utilisé une méthodologie rigoureuse impliquant huit animaux et six véhicules, générant ainsi 48 prompts distincts. Chaque prompt a été exécuté trois fois à travers sept modèles d'IA différents, notamment GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, et DeepSeek V4 Pro. Les résultats ont ensuite été évalués à l'aide de GPT-5.6 Luna et Gemini 3.1 Flash-Lite.

Résultats de l'analyse

L'analyse de Castillo n'a révélé aucune preuve de ce qu'il appelle le "pelicanmaxxing". Les pélicans sur des vélos ne semblent pas être mieux dessinés par les modèles d'IA que d'autres combinaisons d'animaux et de véhicules. De plus, aucun laboratoire ne s'est distingué dans la représentation de ces scènes spécifiques.

Les résultats montrent que les pélicans ne sont pas mieux dessinés que d'autres animaux, et les vélos ne sont pas mieux représentés que d'autres véhicules. Même la combinaison des deux n'a pas produit de résultats significativement meilleurs que ce que les modèles prédisent déjà individuellement pour les pélicans et les vélos.

Une exception notable

Parmi les modèles testés, GLM-5.2 a montré un léger avantage en termes de performance sur la tâche spécifique de dessiner des pélicans à vélo. Son premier échantillon a particulièrement attiré l'attention de Castillo, bien que l'effet observé soit faible et statistiquement non significatif.

En conclusion, cette étude remet en question l'idée que les modèles d'IA sont biaisés vers des tâches spécifiques comme le pelicanmaxxing, ce qui pourrait influencer la manière dont ces technologies sont développées à l'avenir.