SocialReasoning-Bench : IA et la défense des intérêts utilisateurs

SocialReasoning-Bench : Évaluer le Raisonnement Social des Agents IA

Les agents d'intelligence artificielle (IA) s'intègrent de plus en plus dans des contextes sociaux, où ils doivent gérer des calendriers, négocier des achats ou interagir avec d'autres agents au nom d'un utilisateur. Pour accomplir ces tâches, ils ont besoin de plus que de simples compétences techniques : ils nécessitent un raisonnement social. C'est là qu'intervient SocialReasoning-Bench, un benchmark conçu pour évaluer cette capacité cruciale.

Objectifs et Méthodologie

SocialReasoning-Bench teste la capacité des agents IA à négocier pour un utilisateur dans deux contextes réalistes : la Coordination de Calendrier et la Négociation de Marché. Ce benchmark mesure non seulement les résultats obtenus, mais aussi le processus suivi par les agents. Il évalue l'optimalité des résultats (la valeur que les agents parviennent à sécuriser pour l'utilisateur) et la diligence raisonnable (la compétence du processus de prise de décision).

Les modèles d'IA actuels, bien qu'ils accomplissent généralement les tâches, laissent souvent de la valeur sur la table. Par exemple, ils acceptent fréquemment des horaires de réunion sous-optimaux ou de mauvaises offres, au lieu de défendre efficacement les intérêts de l'utilisateur. Même avec des instructions explicites pour agir dans le meilleur intérêt de l'utilisateur, les performances restent bien en deçà de ce qu'un délégué digne de confiance devrait atteindre.

Coordination de Calendrier

Dans le contexte de la coordination de calendrier, un agent assistant gère le calendrier d'un utilisateur sur une seule journée. Il reçoit une demande de réunion d'un autre agent. L'agent a accès à une fonction de valeur sur les créneaux horaires, qui capture les préférences de planification de l'utilisateur entre 0.0 et 1. Cette fonction peut être fournie explicitement par l'utilisateur ou déduite de son historique de calendrier.

La contrepartie est un agent demandeur représentant une autre personne souhaitant planifier une réunion avec l'utilisateur. Cette contrepartie a sa propre fonction de valeur, construite comme l'inverse de celle de l'utilisateur. Certains demandeurs négocient de bonne foi, tandis que d'autres utilisent l'interaction pour extraire des détails privés du calendrier ou pousser l'assistant vers des horaires que l'utilisateur ne souhaite pas.

Dans chaque tâche, il existe une zone de possible accord (ZOPA), un terme emprunté à la théorie de la négociation pour désigner l'ensemble des résultats que les deux parties pourraient accepter. En coordination de calendrier, la ZOPA est l'ensemble des créneaux horaires qui sont mutuellement libres sur les deux calendriers. Chaque tâche est construite de manière à ce que la ZOPA contienne au moins trois créneaux avec des scores de préférence différents pour l'utilisateur, et la demande d'ouverture du demandeur entre toujours en conflit avec le calendrier de l'utilisateur.

Négociation de Marché

Dans le contexte de la négociation de marché, un agent acheteur représentant un utilisateur négocie avec un agent vendeur pour acheter un produit unique. L'utilisateur souhaite payer le moins possible pour le produit. Sa fonction de valeur est l'écart entre le prix de l'offre et un prix de réservation privé, le prix le plus élevé qu'il serait prêt à payer. Un écart plus important capture plus de valeur, et un accord au-dessus du prix de réservation n'en capture aucune.

La contrepartie est un agent vendeur avec son propre prix de réservation privé fixé en dessous de celui de l'acheteur. La fonction de valeur de la contrepartie reflète celle de l'utilisateur, avec des prix d'accord plus élevés générant plus de valeur et des prix d'accord en dessous du prix de réservation du vendeur ne générant aucune valeur.

La ZOPA est la plage de prix entre les réservations du vendeur et de l'acheteur. L'offre d'ouverture du vendeur est toujours au-dessus du prix de réservation de l'acheteur, obligeant ce dernier à négocier le prix à la baisse.

Nouvelles Métriques pour un Nouveau Cadre

Les benchmarks existants se concentrent souvent sur l'achèvement des tâches : la réunion a-t-elle été programmée ? L'échange a-t-il été conclu ? Dans les contextes principal-agent, ce qui importe n'est pas seulement de savoir si la tâche est accomplie, mais aussi comment elle est réalisée. SocialReasoning-Bench introduit de nouvelles mesures pour capturer cette distinction.

Optimalité des Résultats

L'optimalité des résultats évalue la part de valeur disponible que l'agent a capturée pour son principal, sur une échelle de 0 à 1. Le résultat à l'intérieur de la ZOPA le plus favorable au principal obtient un score de 1, tandis que le résultat le plus favorable à la contrepartie obtient un score de 0.0. Les résultats intermédiaires sont notés en fonction de l'endroit où la fonction de valeur du principal les place entre ces deux extrêmes.

L'optimalité des résultats seule confond compétence et chance. Un agent qui accepte immédiatement la première offre d'une contrepartie, sans examiner sa situation ou faire une contre-proposition, peut toujours obtenir un bon score si la contrepartie propose par hasard un bon résultat. Pour séparer compétence et chance, SocialReasoning-Bench introduit une métrique de processus.

Diligence Raisonnable

La diligence raisonnable évalue la qualité du processus sur une échelle de 0 à 1 en comparant les actions de l'agent, à chaque point de décision dans la trajectoire, avec l'action qu'une politique d'agent raisonnable déterministe aurait prise dans le même état. La politique de l'agent raisonnable est une procédure avide qui capture ce qu'un défenseur compétent ferait à chaque étape, comme rassembler le contexte pertinent avant d'agir, commencer avec une position favorable à son principal, et céder uniquement après que de meilleures options aient été épuisées. Le score de diligence raisonnable est le taux auquel les choix réels de l'agent correspondent à ceux de l'agent raisonnable tout au long de la trajectoire.

Ensemble, l'optimalité des résultats et la diligence raisonnable forment une notion opérationnelle du devoir de soin d'un agent envers la personne qu'il représente. Un agent qui obtient un bon résultat par un processus négligent est fragile, tandis qu'un agent qui suit un bon processus mais obtient un mauvais résultat indique un manque de capacité plutôt qu'une négligence. Seul un agent qui obtient de bons scores sur les deux montre un fort raisonnement social.

Configuration Expérimentale

Pour l'agent assistant de calendrier et l'agent acheteur de marché, SocialReasoning-Bench évalue GPT-4.1 avec chaîne de pensée, GPT-5.4 à un effort de raisonnement élevé, et Claude Sonnet 4.6 et Gemini 3 Flash à des niveaux de réflexion élevés. La contrepartie (c'est-à-dire le demandeur en coordination de calendrier et le vendeur en négociation de marché) est toujours Gemini 3 Flash avec un effort de raisonnement moyen, maintenu constant dans toutes les conditions afin que toute différence de scores reflète le modèle testé plutôt que la difficulté de son adversaire.

Chaque modèle est exécuté sous deux conditions de prompt : Prompt de Base où l'agent reçoit uniquement des descriptions de rôle et d'outil, et Prompt Défensif où l'agent reçoit en plus des instructions explicites pour consulter toutes les sources disponibles et défendre l'utilisateur vers le meilleur résultat possible.

Chaque tâche se déroule sur 10 tours de négociation, au maximum. La contrepartie propose en premier dans chaque tâche.

Ce que nous découvrons

Découverte 1 : Les agents accomplissent des tâches à des taux quasi parfaits mais produisent de mauvais résultats.

Dans la planification de calendrier, les agents réussissent presque toujours à réserver la réunion, mais le plus souvent à des horaires sous-optimaux. Dans la négociation de marché, les accords se concluent presque toujours, mais fréquemment au pire prix possible. Les tâches sont réalisées, mais pas bien réalisées : l'achèvement des tâches signale le succès, tandis que l'optimalité des résultats révèle un échec constant à agir dans le meilleur intérêt du principal.

Figure 2 : Achèvement des Tâches vs Optimalité des Résultats par modèle et domaine. Tous les modèles accomplissent des tâches à des taux quasi parfaits, mais produisent de mauvais résultats. Nous avons mesuré l'optimalité des résultats par rapport aux deux prompts, de base et défensif. Le prompting défensif aide mais ne comble pas l'écart.

Découverte 2 : Le prompting défensif aide, mais n'est pas suffisant pour combler l'écart.

Lorsque nous instruisons les agents sur la manière de travailler dur au nom de leur principal, nous observons des améliorations des résultats dans les deux domaines, mais cela ne suffit pas à combler l'écart. GPT-5.4 bénéficie le plus du prompting défensif (+0.21 en planification, +0.12 en marché), tandis que GPT-4.1 y répond à peine dans aucun des domaines. Les autres modèles se situent quelque part entre les deux.

Découverte 3 : L'optimalité des résultats montre combien de valeur les agents laissent sur la table.

L'optimalité des résultats reflète où chaque accord se situe au sein de la ZOPA. Lorsque nous traçons les résultats, ils se regroupent plus près de l'idéal de la contrepartie que de celui du principal.

Figure 3 : Distribution de l'Optimalité des Résultats (OO) par modèle et domaine. Chaque point est une instance de tâche. OO=1.0 signifie que l'agent a capturé toute la valeur disponible pour son principal ; OO=0.0 signifie que la contrepartie a capturé tout.