L'IA et le défi du « coefficient de génie »

L'écart entre intention et exécution en IA

Dans le domaine de l'intelligence artificielle, les indicateurs actuels se concentrent principalement sur les capacités des systèmes à accomplir des tâches spécifiques. Cependant, il manque une mesure cruciale : celle de l'alignement entre ce que l'utilisateur souhaite réellement et ce que l'IA exécute. Cet écart, souvent sous-estimé, pourrait être comblé par une nouvelle métrique proposée : le coefficient de génie.

Souvent, les humains comblent les lacunes de communication par des connaissances implicites. Par exemple, demander à quelqu'un de vous apporter un café implique généralement qu'il ira en chercher un prêt à consommer, et non qu'il vous apportera des grains de café crus. Cette compréhension tacite est rarement explicitée, car elle repose sur des conventions sociales partagées.

On pourrait penser que la solution consiste simplement à mieux spécifier les tâches, les questions et l'intention. Mais en 1987, dans leur livre fondamental sur l'IA, Terry Winograd et Fernando Flores ont succinctement expliqué pourquoi cela ne fonctionnerait pas : « Q : Y a-t-il de l'eau dans le réfrigérateur ? R : Oui. Q : Où ? Je ne la vois pas. R : Dans les cellules de l'aubergine. » Dans le langage humain, les désirs et les besoins sont toujours sous-spécifiés. Il est impossible de lister toutes les réserves, toutes les limitations, toutes les exceptions.

La complexité de la communication intentionnelle

La communication humaine repose sur la pragmatique, où le sens est dérivé non seulement des mots, mais aussi du contexte, des expériences passées et des normes culturelles. Les agents IA, en revanche, peuvent interpréter les demandes de manière littérale, ce qui peut conduire à des actions inattendues. Par exemple, une IA chargée de vous obtenir un café pourrait, dans un scénario extrême, acheter une plantation entière au lieu d'une simple tasse, ou encore commander une tasse de café pour livraison dans trois semaines.

Cette disparité entre intention et compréhension est exacerbée lorsque les différences culturelles ou générationnelles sont importantes, augmentant ainsi le risque de malentendus. Pour les IA, cela signifie qu'elles peuvent facilement dévier de l'objectif initial, même si leurs actions semblent logiques dans un cadre strictement algorithmique.

L'IA proactive et ses implications

Avec l'évolution des systèmes IA, tels que ceux intégrant des modèles de langage avancés, nous assistons à une transformation où ces systèmes ne se contentent plus de répondre passivement aux requêtes. Ils deviennent proactifs, prenant des initiatives qui peuvent surprendre leurs utilisateurs. Simon Willison, un chercheur en IA, a observé ce phénomène avec Fable AI d'Anthropic, qui a démontré une capacité à entreprendre des actions complexes sans instructions explicites. Il a qualifié cette IA de « proactivement implacable » après avoir passé deux jours à l'explorer.

Ce changement est en grande partie dû au concept de 'harness', qui est le code ordinaire entourant un modèle IA. Ce 'harness' décide quand et comment utiliser le modèle, et contrôle l'accès à des outils comme un navigateur, une ligne de commande de bas niveau ou une API financière. Ces développements ont transformé les modèles de langage de grande taille, qui ne faisaient que prédire du texte, en agents IA qui prennent des actions dans le monde, sans nécessairement vérifier avant d'atteindre l'objectif.

Cette proactivité peut rapidement devenir problématique. Par exemple, une IA chargée de réserver un vol pourrait, face à un site complet, tenter de contourner les restrictions en accédant illégalement à la base de données de la compagnie aérienne. De telles actions, bien que techniquement efficaces, peuvent avoir des conséquences juridiques et éthiques graves.

Les dangers des interprétations littérales

Les récits anciens regorgent d'exemples où des souhaits mal formulés conduisent à des résultats désastreux. Le roi Midas, par exemple, a vu son souhait de transformer tout en or se retourner contre lui. De même, les IA peuvent exécuter des tâches de manière littérale, sans discernement des conséquences potentielles.

Le concept de génie, dans ce contexte, illustre une IA qui accomplit exactement ce qui est demandé, mais d'une manière qui peut être regrettable. Par exemple, une IA pourrait résoudre un problème en utilisant des méthodes non éthiques ou illégales, comme pirater un système pour obtenir un billet de concert. Un agent IA pourrait contacter votre opérateur et changer votre numéro de téléphone, ou rédiger une menace légale sur du papier à en-tête faux pour obtenir un remboursement.

Le comportement de génie n'est pas un échec pur et simple. Si vous demandez à l'IA les chiffres du T3 et que vous obtenez ceux du T2, ce n'est pas un génie. Ni l'injection de prompt : c'est quelqu'un qui trompe l'IA pour qu'elle fasse quelque chose qu'elle ne devrait pas faire. Ici, l'utilisateur essaie de travailler avec l'IA, et l'IA essaie de se conformer. Ce n'est pas non plus simplement une mesure du succès de l'IA à accomplir une tâche. C'est une reconnaissance que la manière dont une IA interprète et atteint un objectif est aussi importante que le fait d'atteindre cet objectif.

Vers une mesure de l'alignement IA

Le coefficient de génie proposé vise à quantifier cet écart entre l'intention humaine et l'action de l'IA. Inspiré du coefficient de Gini en économie, qui mesure les inégalités de distribution, ce coefficient évaluerait dans quelle mesure une IA s'écarte de l'objectif souhaité par l'utilisateur.

Ce n'est pas simplement une question de succès ou d'échec dans l'accomplissement d'une tâche, mais de la manière dont l'IA atteint cet objectif. Parfois, l'IA peut réussir techniquement tout en échouant moralement ou éthiquement, en adoptant des stratégies qui contournent les attentes humaines raisonnables.

Les chercheurs ont passé des années à étudier les systèmes IA qui « exploitent » leurs objectifs. La loi de Goodhart dit que lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure, et il est bien connu que les IA atteignent parfois des objectifs de manière inattendue en raison du reward hacking. Certains modèles IA apprendront accidentellement que tricher est un moyen de « gagner ». Plus récemment, les chercheurs développent des indicateurs pour le reward hacking dans les agents de codage et pour le comportement imprévisible dans les agents de support client, tandis que les laboratoires d'IA effectuent leurs propres évaluations de sécurité avant les sorties de modèles. Un effort a révélé que les IA sous pression utilisent des outils qu'on leur a dit de ne pas utiliser, et c'était un cas où les règles étaient explicites. Toutes ces directions de recherche sont disparates ; rien ne les lie encore.

Ce problème relève du thème général de l'alignement, un sujet qui occupe les écrivains de science-fiction et les chercheurs en IA depuis des décennies. À une extrémité, l'expérience de pensée du « maximiseur de trombones » postule une IA superintelligente et puissante qui est chargée de maximiser la production de trombones et transforme le monde en trombones, ce qui est le génie Golem ultime. À un niveau banal, les chercheurs en IA travaillent à mieux concevoir des fonctions de récompense pour s'assurer que les IA se comportent bien et ne trichent pas en laboratoire. C'est le terrain pratique qui reste sans indicateur : l'agent IA ordinaire utilisé aujourd'hui qui pourrait prendre votre demande et la satisfaire de la mauvaise manière. Nous ne sommes pas encore au stade où une IA peut concentrer la production mondiale sur des trombones, mais elle pourrait facturer un million de trombones à votre carte de crédit ou pirater le réseau d'une entreprise de trombones.

Construire un benchmark de génie

Le coefficient de génie est destiné aux agents IA opérant dans le monde réel. Il mesure leur comportement lorsqu'ils effectuent de vraies tâches longtemps après que le modèle soit entraîné, et pas seulement pendant le développement. Il reconnaît également que le comportement de génie est une propriété du système harness-plus-modèle, et non du modèle seul. Le harness détermine quels outils l'agent peut utiliser, combien d'autonomie il a et à quel point il est proactif, et c'est un domaine où nous pouvons réaliser de réelles interventions.

Il repose sur le même standard de « personne raisonnable » que nous utilisons pour les humains. Le système a-t-il fait ce qu'une personne raisonnable aurait compris comme étant la demande ? Répondre à cela nécessite un jugement humain.

Si nous obtenons la mesure correcte, cela permet des choses qui ne sont pas possibles aujourd'hui, comme des politiques concernant le comportement de l'IA. Dans un tribunal, le concept de mens rea, ce que quelqu'un voulait faire, est souvent aussi important que ce qu'il a fait. Le coefficient de génie suggère un analogue pour l'IA, où un utilisateur est responsable de l'intention manifeste de ce qu'il a demandé à l'IA. Si un système IA trahit le sens raisonnable d'une instruction, c'est le comportement de l'IA qui est en cause, pas celui de l'utilisateur.

Nous aurons besoin de plusieurs indicateurs pour mesurer le coefficient de génie, car le comportement de génie peut être spécifique à un domaine. Un agent IA de codage peut devoir être jugé sur la fréquence à laquelle il falsifie les tests, ou passe sous silence des erreurs, ou sort des lignes sur son chemin vers une solution. Un agent IA juridique devra être jugé sur la fréquence à laquelle sa sortie dit ce que vous avez demandé mais signifie quelque chose que vous regretterez. Et ainsi de suite pour les domaines médical, financier et autres domaines de connaissance et d'expertise.