Schmidt Sciences : appel à projets pour IA plus transparente

Schmidt Sciences a récemment lancé un appel à propositions pour un programme pilote ambitieux axé sur l'interprétabilité de l'intelligence artificielle (IA). La date limite pour soumettre les propositions est fixée au mardi 26 mai 2026. Ce programme cherche à explorer de nouvelles méthodes pour détecter et atténuer les comportements trompeurs des modèles d'IA, notamment les modèles de langage de grande taille (LLMs). Si ce projet pilote révèle des signes de progrès significatifs, il pourrait débloquer un investissement beaucoup plus important dans ce domaine.

Question centrale et objectifs du programme

La question centrale que Schmidt Sciences souhaite aborder est la suivante : pouvons-nous développer des méthodes d'interprétabilité qui détectent les comportements trompeurs exhibés par les LLMs et orientent leur raisonnement pour éliminer ces comportements ? Les outils qui réussiront devront se généraliser à des cas d'utilisation réalistes, allant au-delà des benchmarks académiques typiques. Il est crucial que ces outils d'interprétabilité surpassent les références ne reposant pas sur l'accès aux poids, afin de prouver que nous pouvons vraiment tirer parti de notre compréhension des internes des modèles.

Agenda de recherche et directions principales

L'agenda de recherche de Schmidt Sciences définit un champ de recherche avec plusieurs directions clés. Les propositions ne doivent pas nécessairement correspondre aux sujets de cet agenda de manière verbatim, mais elles sont encouragées à explorer toute méthode technique ou évaluation pertinente qui pourrait faire progresser notre compréhension scientifique des comportements trompeurs dans les LLMs. Nous nous concentrerons particulièrement sur trois directions :

• Détection des comportements trompeurs : pouvons-nous développer des outils pour détecter ces comportements, définis comme des cas où il y a une contradiction entre ce qu'un modèle dit (ou fait) et ce qu'il représente en interne comme étant vrai (ou la meilleure action) ?

• Orientation des modèles pour améliorer la véracité : pouvons-nous développer des méthodes d'orientation ciblées pour intervenir sur la véracité des modèles ? Nous aimerions tirer parti d'une meilleure compréhension mécaniste des modèles pour développer des atténuations des comportements trompeurs.

• Applications des méthodes de détection/steering : de nouvelles techniques de détection et d'orientation peuvent-elles débloquer des cas d'utilisation de l'IA ? Quand ces techniques peuvent-elles améliorer les équipes humain-IA en pratique ? Quand le fait d'avoir une IA plus véridique améliorera-t-il les résultats des systèmes multi-agents ?

Critères de sélection et financement

Les propositions seront évaluées par le personnel de Schmidt Sciences et des examinateurs externes selon plusieurs critères :

• Adéquation avec l'Agenda de recherche : La proposition engage-t-elle clairement l'intention derrière les questions scientifiques et les objectifs de l'agenda de recherche ?

• Qualité scientifique et rigueur : Le travail proposé est-il techniquement solide, bien motivé et capable de produire des insights généralisables ?

• Impact potentiel : Si réussi, cela ferait-il avancer de manière significative l'interprétabilité de l'IA ou changerait-il de manière significative la façon dont les risques sont compris, mesurés ou gérés ?

• Faisabilité et portée : Le projet est-il correctement dimensionné par rapport au budget et à la durée demandés ?

• Expertise de l'équipe : L'équipe est-elle bien placée pour exécuter le travail proposé, avec une expertise technique pertinente, une capacité suffisante et un engagement temporel proportionnel à l'ambition du projet ?

• Rapport coût-efficacité : Le budget proposé est-il raisonnable et bien justifié compte tenu des objectifs et des activités prévues du projet ?

Le financement pour les projets retenus se situera entre 300 000 et 1 million de dollars, pour une durée de 1 à 3 ans.

Importance de l'interprétabilité et défis actuels

La recherche sur l'interprétabilité est particulièrement prometteuse pour réduire les risques liés aux comportements trompeurs dans les LLMs. Ces modèles induisent souvent les utilisateurs en erreur, même sur des tâches simples avec des invites anodines. Les résultats des analyses d'interprétabilité pourraient également permettre de nouvelles formes d'orientation pour l'honnêteté. Des méthodes prometteuses ont montré qu'elles peuvent orienter les modèles vers la véracité de manière généralisable, optimiser de manière robuste contre des récompenses basées sur la surveillance pour réduire la tromperie, et permettre un ajustement fin contraint des modèles qui n'opère que sur des caractéristiques interprétables.

Cependant, nous n'avons pas encore de détecteurs universels de comportements trompeurs, ni ne pouvons-nous orienter de manière fiable les modèles pour qu'ils soient complètement véridiques. Ainsi, nous visons à soutenir la recherche sur des problèmes ouverts pertinents.

Directions de recherche majeures

• Définition des "comportements trompeurs" : nous utilisons ce terme pour inclure des instances de générations de modèles connues (par le modèle) comme étant factuellement incorrectes, des affirmations données avec un niveau de confiance trompeur, des affirmations trompeuses sur le contexte de l'interaction, l'omission sélective d'informations pertinentes, et d'autres comportements que les modèles savent trompeurs pour les humains ou les moniteurs d'IA.

• Surveillance : cette zone couvre la recherche sur la surveillance et la validation du raisonnement des modèles. Nous attendons de la surveillance qu'elle implique tout test en boîte noire des modèles, des sondes en boîte blanche, des techniques d'analyse en boîte grise, et d'autres recherches sur les méthodes et évaluations.

• Orientation : cette zone couvre la recherche sur les interventions représentatives et basées sur les poids visant à atténuer les comportements trompeurs sans conséquences indésirables. Nous sommes particulièrement intéressés par des méthodes qui surpassent les approches traditionnelles d'ajustement fin en tirant parti des insights des analyses d'interprétabilité du raisonnement des modèles.

• Applications : cette zone couvre le travail qui applique des méthodes de détection et d'orientation afin de tirer de nouvelles conclusions sur les modèles entraînés, les processus d'entraînement ou l'utilité des modèles pour les humains. Nous voulons que les techniques d'interprétabilité révèlent des insights exploitables.