La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Un fournisseur sans socket
Depuis la sixième partie de cette série, Eugene a exploré divers fournisseurs d'API, chacun partageant une caractéristique commune : l'utilisation d'une URL, d'en-têtes et d'un corps JSON pour les communications via HTTP. Que ce soit l'API Messages d'Anthropic, les Chat Completions d'OpenAI, ou même Ollama, qui fonctionne localement, tous suivent ce schéma. Le trait Provider a été conçu avec l'hypothèse qu'un socket est toujours présent quelque part dans le processus.
Ollama, par exemple, minimise déjà la latence en fonctionnant localement. Cependant, l'interaction repose toujours sur une requête HTTP à localhost. L'article se penche sur ce qui se passe si l'on abandonne complètement cette hypothèse de socket et que l'on pilote un modèle local comme un processus enfant traditionnel : en utilisant stdin pour l'entrée et stdout pour la sortie, sans port à lier ni besoin de curl pendant le démarrage.
Implémentation sans socket
L'article détaille comment adapter l'abstraction Provider pour fonctionner sans socket HTTP, en maintenant un processus de modèle local actif, tel que le REPL de DwarfStar, et en communiquant via stdin/stdout. Cette méthode contraste avec l'approche HTTP traditionnelle « une requête par tour », en utilisant des pipes pour préserver l'état de session. Cela évite de renvoyer la transcription complète à chaque tour, grâce à un processus enfant protégé par un mutex et une logique qui lit jusqu'à ce que l'invite du REPL réapparaisse.
Limites et applications
L'article clarifie également que cette intégration par pipe ne génère que du texte brut et ne prend pas en charge l'appel d'outils, ce qui signifie que la boucle de l'agent suit le chemin « aucun ToolCall émis ». Il est suggéré que ds4-server est plus adapté lorsque des appels d'outils et plusieurs clients sont nécessaires. En revanche, la méthode sans socket par pipe est idéale pour des cas d'utilisation plus restreints, tels que les travaux d'intégration continue (CI), les évaluations en bac à sable, ou l'inférence locale rapide pour des tâches de type « Fast-tier ». Enfin, l'article mentionne comment le nouvel adaptateur est intégré dans l'espace de travail du fournisseur d'Eugène.
