La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Un problème inattendu dans l'apprentissage par renforcement
Lorsqu'un agent d'intelligence artificielle est formé pour rechercher des réponses via l'apprentissage par renforcement, un problème inattendu peut survenir. L'agent est chargé de formuler une requête de recherche pour répondre à une question donnée. Après avoir obtenu des résultats, il peut décider qu'il a besoin de plus d'informations et rédiger une nouvelle requête. Ce processus, en théorie, ressemble à une exploration active. L'agent semble essayer différentes formulations et examiner divers angles, imitant ainsi le comportement d'un chercheur curieux.
La complexité de l'équivalence de récupération
Cependant, un phénomène connu sous le nom de "chute de l'équivalence de récupération" peut affecter ces agents de recherche. Ce problème se manifeste lorsque différentes requêtes réécrites par l'agent aboutissent souvent à la récupération des mêmes documents. Cela rend l'exploration de l'agent plus apparente que réelle, car le signal d'entraînement perd alors de sa pertinence. En d'autres termes, l'agent semble explorer, mais en réalité, il ne découvre pas de nouvelles informations significatives.
La solution innovante de Harness-G
Pour résoudre ce problème, une solution innovante est proposée dans le document "Harness-G". Cette approche transforme la génération de requêtes ouvertes en un menu à choix multiples d'actions explicites. Par exemple, l'agent peut choisir de sélectionner des preuves, de rechercher des entités connexes ou de répondre directement à la question. Cette méthode permet une véritable diversité dans les actions de l'agent et offre une meilleure attribution des crédits. Elle inclut également un crédit non myope, qui récompense les étapes en fonction de leur utilité future, plutôt que de se concentrer uniquement sur les résultats immédiats.
Performances et améliorations avec Harness-G
Grâce à cette interface de menu et à des signaux de récompense améliorés, Harness-G parvient à améliorer le score F1 sur plusieurs benchmarks, qu'ils soient multi-sauts ou mono-sauts. L'agent s'entraîne de manière plus stable et se généralise efficacement à travers différents ensembles de données et domaines. De plus, cette méthode utilise un graphe programmatique, ce qui s'avère plus efficace que l'utilisation de graphes de connaissances construits par des modèles de langage.
Les limites et les leçons à tirer
Malgré ces avancées, certaines limitations persistent. Actuellement, le système est restreint au traitement du texte uniquement et montre des performances légèrement inférieures sur certaines tâches mono-sauts. Il est également souligné que l'espace d'action central pourrait avoir une importance égale, voire supérieure, à celle de l'ingénierie des récompenses. Ces observations offrent des pistes pour de futures améliorations et soulignent l'importance de continuer à explorer de nouvelles approches dans le domaine de l'intelligence artificielle.
