Ollama et llama.cpp prennent désormais en charge des modèles décisionnels par le point d’accès /v1/systemone, compatible avec TypeSafe. Ces systèmes choisissent parmi des réponses autorisées et leur associent des probabilités, sans rédiger de texte. Leur exécution locale offre une alternative aux API payantes, mais la fiabilité des scores doit être vérifiée avant d’automatiser des décisions.
Lancer un modèle décisionnel sur son ordinateur
Ollama accepte notamment Nimble et Tev1 ; llama.cpp prend pour sa part en charge Laya, Kev, Julia-1 et OpenJev. Une installation locale peut diminuer les dépenses d’API tout en maintenant les informations sensibles sur le matériel utilisé. Elle permet aussi d’expérimenter sans recourir à une API payante.
Avec une version récente de llama.cpp, la commande llama serve -hf ggml-org/Laya-GGUF lance un serveur hébergeant Laya. Une requête curl peut ensuite viser http://localhost:8080/v1/systemone, avec un contenu déclaré en application/json. Dans un exemple de support client, elle transmet une réclamation pour double facturation, précise le type choice et demande quelle équipe doit intervenir.
Les options billing, shipping et technical correspondent respectivement aux paiements ou remboursements, aux incidents de livraison et aux bugs ou difficultés de compte. Le résultat attendu désigne un service et associe une probabilité à chaque possibilité. L’orientation vers la facturation reste ici un exemple hypothétique, pas le résultat d’un test sur des demandes réelles.
Cinq projets ouverts face au modèle propriétaire Jev
Chez TypeSafe, Jev reste propriétaire et accessible par API. L’entreprise a donné des indications sur son approche, sans dévoiler l’intégralité de son architecture, ses poids ou sa méthode d’entraînement. Les solutions ouvertes peuvent, elles, être examinées, adaptées et hébergées localement. Certains de ces projets revendiquent de meilleures performances sur des évaluations particulières, une exécution plus rapide et, potentiellement, des frais de fonctionnement moindres.
Pour une exécution locale, SemIf accepte les processeurs graphiques NVIDIA, les puces Apple Silicon et les processeurs centraux. Une démonstration interactive accessible depuis un navigateur l’accompagne, de même que des mesures reproductibles de vitesse et de précision. Capable de fonctionner sur du matériel modeste, Laya est un modèle léger prenant en charge plus de 100 langues, avec une inférence rapide et une sélection automatique du modèle adapté.
Issue de Qwen, la famille Kev comprend des modèles de 0,8B à 27B de paramètres ; elle prend en charge les documents longs, l’adaptation personnalisée et une API compatible avec Jev. Simple Jev permet, sans entraînement additionnel, de classer ou de noter avec des modèles Hugging Face existants. Sa compatibilité avec des modèles visuels étend cette utilisation aux images.
Vous codez avec l’IA ?
Outils, agents et nouveautés dev IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Decider vise plusieurs décisions lors d’un même passage de calcul, avec un maximum de 255 réponses possibles par question. Ses démonstrations expérimentales comprennent Tetris et Pong. Selon les besoins, ces différentes solutions permettent de privilégier de petits modèles pour la vitesse, un ajustement spécialisé ou un hébergement local pour limiter les dépenses d’API.
Comment les modèles produisent leurs probabilités
L’aide à la décision par l’IA recouvre notamment le classement d’une demande entre services commercial, technique ou de facturation, l’évaluation de l’urgence d’une réclamation et l’identification binaire d’un courrier indésirable. Le système reçoit un contexte, une question et les réponses admises. Ses sorties structurées sont directement exploitables par une application, sans devoir analyser des paragraphes rédigés. Ce fonctionnement convient notamment au traitement de milliers de sollicitations semblables.
Un grand modèle de langage peut être adapté à cet usage en exploitant ses prédictions internes. Il calcule des logits, c’est-à-dire des scores bruts pour les prochains tokens possibles. Les scores correspondant aux réponses retenues peuvent être extraits, puis convertis en probabilités par la fonction mathématique softmax.
Dans un exemple hypothétique de classement d’avis, les logits 2.0 pour le positif et 1.0 pour le négatif donnent environ 73 % et 27 % après cette transformation. Ces probabilités dépendent des options sélectionnées.
Une autre adaptation consiste à substituer une petite tête de prédiction à la couche de production du texte, puis à ajuster le modèle sur des tâches décisionnelles. Plusieurs options peuvent alors être évaluées, avec la possibilité de traiter plusieurs questions dans le même passage de calcul. L’absence de génération successive de tokens accélère les décisions répétitives et améliore leur efficacité.
Tester la fiabilité avant d’automatiser
Avant une automatisation du support client, la précision des réponses et les probabilités associées devraient être éprouvées sur de véritables messages. Une confiance affichée de 95 % pose notamment la question de sa fiabilité. L’entraînement, la calibration des probabilités et le contrôle humain sont des moyens identifiés pour préparer les usages réels. Le modèle peut aussi être interrogé sur la nécessité d’une intervention humaine.
L’association avec des modèles de langage pourrait rendre certaines applications plus rapides et moins coûteuses. Dans un scénario d’assistance à la programmation, un petit modèle décisionnel choisirait un outil, déciderait de consulter le Web ou déterminerait si une tâche exige un modèle plus puissant. Le recours au raisonnement coûteux serait alors réservé aux tâches qui le nécessitent ; il s’agit d’un usage envisagé, non d’un résultat mesuré.
Dans les jeux, des expérimentations utilisent déjà ces modèles pour sélectionner un mouvement en quelques millisecondes. Des prolongements sont envisagés pour la robotique, le repérage des fraudes ou les agents autonomes.






