La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Le routeur NeMo Switchyard s'appuie sur une liste de 113 chaînes et confronte surtout des sorties d'outils, rarement le texte saisi par l'utilisateur. Sa confiance est calculée via une tanh avec un seuil de 0,5, ce qui peut conduire à ignorer des signaux isolés. L'ensemble fonctionne dans une architecture déclarative en TOML et peut être reproduit en Python à partir des constantes du code.
Le routeur interprète les « débris » d'exécution, pas le prompt
Le routeur lit principalement les traces et artefacts d'une exécution d'agent plutôt que le prompt initial. D'autres approches existent, comme des classificateurs fondés sur les prompts, des routeurs appris ou un routage de passerelle indexé sur le prix et la charge. Des réserves opérationnelles accompagnent ce choix : la calibration des seuils dépend d'un jeu de données spécifique et la logique est sensible au format de transmission de la profondeur de tour. L'activation d'un classificateur LLM ajoute par ailleurs des coûts et des appels supplémentaires. Des recommandations précisent quand privilégier le routeur de scène ou, au contraire, recourir à des modes d'escalade ou à une classification apprise.
Des heuristiques et un seuil à 0,5 guident la décision
La décision s'appuie sur des gravités d'erreur codées en dur et des heuristiques de récupération, dites « en rotation » et « en exploration ». Le score de confiance est calculé avec une fonction tanh et un seuil fixé à 0,5, ce qui impose une corroboration des signaux. Dans ce cadre, un traceback Python isolé peut être écarté. Le tempo de la boucle d'agent fixe les arbitrages à chaque appel LLM, en fonction du trafic d'outils observé.
Un fichier Rust et 113 chaînes pilotent le routage
La logique repose sur 113 chaînes, dont une seule est jamais comparée au prompt utilisateur, et cette phrase provient de Claude Code. La logique de routage a été principalement implémentée en dur dans un unique fichier Rust qui rassemble douze tables de chaînes statiques ainsi qu’un indicateur de compactage. Ce procédé associe des portions de chaînes aux désignations d’outils, aux commandes shell et aux résultats d’outils, et dans le cas d’un contexte compacté, une unique phrase de quatre mots est liée au texte de la conversation. L’architecture adopte une approche déclarative à l’aide d’un fichier TOML qui spécifie les clients, les cibles et les chemins LLM, en s’appuyant sur une collection d’algorithmes et une conversion de protocole. La logique peut être reproduite en Python en portant les fonctions et en lisant directement les constantes de réglage depuis la source.
