Modèles de Contrôle des Agents — Partie 4 : ReAct — Penser en Agissant

Modèles de Contrôle des Agents — Partie 4 : ReAct — Penser en Agissant

Jusqu'à présent dans cette série, nous avons conçu des systèmes avec une structure prédéfinie. Nous avons défini le flux d'exécution. Nous avons séparé le raisonnement de la révision. Nous avons contrôlé le moment où la recherche se produit. Même lorsque des boucles ont été introduites, le flux de travail est resté limité et prévisible. Cependant, certains problèmes ne peuvent pas être entièrement décomposés à l'avance. Vous ne savez peut-être pas combien d'appels d'outils seront nécessaires. Vous ne savez peut-être pas quelles informations sont nécessaires jusqu'à ce que vous voyiez le résultat de l'étape précédente. Dans ces cas, un plan fixe n'est pas suffisant. Le système doit raisonner et agir étape par étape, s'adaptant à l'arrivée de nouvelles informations. Cet article présente ReAct — un modèle de contrôle où le raisonnement et l'utilisation des outils sont entrelacés dans une boucle de rétroaction.

Introduction — Quand le Plan Ne Peut Pas Être Défini à l'Avance

Considérons une requête telle que : « Quel est le prix actuel de l'action Tesla, et est-ce un bon moment pour acheter en fonction des tendances récentes ? » Ce n'est pas une tâche à une seule étape. Pour y répondre correctement, l'agent doit récupérer le prix actuel de l'action, examiner la performance récente, interpréter la tendance et décider si plus de données sont nécessaires avant d'atteindre une conclusion. La difficulté réside dans le fait que le nombre d'étapes ne peut pas être déterminé à l'avance. La première recherche peut révéler de la volatilité. Cela peut nécessiter un contexte supplémentaire. De nouvelles informations peuvent changer la direction de l'analyse. Dans ce type de problème, la prochaine étape dépend du résultat de la précédente. Un seul passage de génération n'est pas suffisant. Un cycle de rédaction-révision fixe n'est pas suffisant. Une phase de recherche séparée déclenchée après critique n'est pas suffisante. Au lieu de cela, le raisonnement et l'utilisation des outils doivent progresser ensemble.

Qu'est-ce que ReAct ?

ReAct signifie Raisonnement + Action. C'est un modèle de contrôle où le raisonnement et l'utilisation des outils se produisent à l'intérieur de la même boucle. Contrairement à Reflection ou Reflexion, ReAct ne sépare pas la pensée et l'exécution en phases. Il n'y a pas de projet complet d'abord. Il n'y a pas de phase de recherche dédiée après la critique. Au lieu de cela, le système avance étape par étape. La boucle principale ressemble à ceci :

• Pensée → Action → Observation → Pensée → … → Arrêt

Voici ce que signifie chaque étape :

• Pensée : Le modèle examine l'état actuel et décide quoi faire ensuite.

• Action : Si plus d'informations ou de calculs sont nécessaires, le modèle appelle un outil. Cela peut être une recherche sur le web, une calculatrice, une requête de base de données ou une autre fonction.

• Observation : Le résultat de cet appel d'outil est retourné et ajouté à l'état. Le modèle raisonne à nouveau en utilisant le contexte mis à jour.

La boucle continue jusqu'à ce que le modèle produise une réponse sans demander un autre appel d'outil. À ce moment-là, l'exécution s'arrête. Ce modèle est différent des approches basées sur la révision. Dans Reflection, le modèle améliore une réponse complétée. Dans Reflexion, la recherche se produit après la critique. Dans ReAct, il n'y a pas de réponse complète au début. La réponse est construite étape par étape à mesure que le modèle interagit avec les outils. En conséquence :

• Le nombre d'étapes n'est pas connu à l'avance.

• Les appels d'outils sont décidés pendant l'exécution.

• Chaque étape de raisonnement dépend de la dernière observation.

ReAct considère les résultats des outils comme faisant partie du processus de raisonnement, et non comme une phase séparée.

Structure de Contrôle de ReAct

ReAct est plus qu'une simple combinaison d'un LLM avec des outils. L'idée clé est la façon dont la boucle est organisée. Dans les modèles précédents :

• Les pipelines séquentiels suivaient un chemin fixe.

• Reflection ajoutait une boucle de révision interne.

• Reflexion ajoutait une étape de recherche séparée.

ReAct supprime ces phases fixes. Au lieu de cela, le raisonnement et l'utilisation des outils se produisent à l'intérieur de la même boucle. Chaque cycle ressemble à ceci :

• Le modèle raisonne sur l'état actuel.

• Il décide s'il doit appeler un outil.

• L'outil retourne un résultat.

• Le modèle raisonne à nouveau en utilisant les informations mises à jour.

La prochaine étape dépend de ce qui vient d'être observé. Plusieurs propriétés découlent de cette structure :

• Le plan complet n'est pas connu au début.

• L'état évolue au fil du temps à mesure que les observations sont ajoutées.

• Les appels d'outils sont utilisés pour rassembler les informations manquantes.

• La boucle s'arrête lorsque le modèle produit une réponse sans demander un autre outil.

Dans ReAct, il n'y a pas de chemin d'exécution prédéfini. La séquence des étapes émerge pendant l'exécution.

Différence avec Reflexion

ReAct et Reflexion utilisent tous deux des outils, mais ils les utilisent de manière différente.

Reflexion

Reflexion est un processus étape par étape avec des phases séparées :

• Rédiger une réponse

• Critiquer le brouillon

• Effectuer des recherches

• Réviser en utilisant les résultats

La recherche se produit après la critique, et les appels d'outils se font généralement dans une étape de recherche dédiée. Le flux ressemble à ceci :

• Brouillon → Recherche → Révision