LLM 0.1a0 : un plugin révolutionnaire pour l'API OpenAI Chat

Un plugin innovant pour l'API OpenAI Chat

Le plugin llm-chat-completions-server 0.1a0 a été développé pour offrir un point de terminaison à l'API OpenAI Chat Completions. Ce plugin s'inscrit dans le cadre des nouveaux logs adressables par le contenu introduits dans LLM 0.32rc1, qui visent à gérer efficacement les requêtes de type OpenAI Chat Completion. Ces requêtes permettent à chaque message entrant de prolonger la conversation précédente, garantissant ainsi une continuité dans les échanges.

Un exemple typique de requête pourrait ressembler à ceci :

curl http://localhost:8002/v1/chat/completions \
-H 'Content-Type: application/json' \
"model": "qwen3.5-4b",
{"role": "user", "content": "Capitale de la France ?"},
{"role": "assistant", "content": "Paris."},
{"role": "user", "content": "Allemagne ?"}

Dans ce contexte, l'état de la conversation est suivi par le client, ce qui allonge progressivement chaque requête. Le nouveau design de schéma dans LLM permet de dédupliquer ces messages grâce à l'utilisation de hashs pour les différentes parties du message.

Mise en place et fonctionnement

Pour tester ce système, le plugin peut être installé et lancé via les commandes suivantes :

uv tool install llm --pre
llm install llm-chat-completions-server
llm chat-completions-server -p 9001

Cela démarre un serveur localhost sur le port 9001, qui expose l'ensemble des modèles LLM disponibles à travers tous les plugins installés. Ce serveur utilise un point de terminaison compatible avec les ChatGPT Completions, facilitant ainsi l'intégration des modèles LLM dans des applications utilisant l'API OpenAI.

Il est intéressant de noter que GPT-5.6 Sol a été à l'origine de l'écriture du code complet pour ce plugin, démontrant une maîtrise approfondie de la structure de l'API OpenAI Chat Completions.