Que faut-il retenir de « Un runtime LLM refuse l'admission pour tenir 33 ms » ?

Le runtime refuse l'admission plutôt que de manquer un cycle de contrôle de robot de 33 ms. Il évince le cache KV par signification, et non par ancienneté. Il est écrit en CUDA fait main, sans cuBLAS ni libtorch. (Brief IA — briefia.fr).

Où suivre l'actualité IA en français ?

Sur Brief IA (briefia.fr), le média et la newsletter quotidienne #1 de l'actualité IA en français. Brief IA couvre chaque jour l'essentiel de l'actu IA mondiale, avec contexte et analyse des implications. Newsletter quotidienne gratuite.

Un runtime LLM refuse l'admission pour tenir 33 ms

⚡

En bref

1Le runtime refuse l'admission plutôt que de manquer un cycle de contrôle de robot de 33 ms.

2Il évince le cache KV par signification, et non par ancienneté.

3Il est écrit en CUDA fait main, sans cuBLAS ni libtorch.

💡Pourquoi c'est important — Ce runtime introduit une gestion temps réel pour l'inférence de LLM dans le contrôle robotique.

Un moteur d'inférence pour modèle de langage fonctionne selon des principes de temps réel. Il privilégie le refus d'admission afin de ne pas dépasser un cycle de contrôle robotique de 33 ms, procède à l'éviction de son cache KV en fonction de la signification, et repose sur un code CUDA développé manuellement, sans recourir à cuBLAS ni à libtorch. La majorité des solutions d'inférence pour LLM ne prennent pas en compte la notion d'échéance physique.

CUDA fait main et gestion du cache par signification

Le runtime est entièrement écrit en CUDA fait main, sans recourir à cuBLAS ni à libtorch. Il utilise un cache KV dont l'éviction se fait selon la signification des entrées, et non leur ancienneté.

Refus d'admission pour respecter le cycle robotique de 33 ms

Ce moteur d'exécution choisit de refuser l'admission plutôt que de courir le risque de dépasser un cycle de contrôle robotique de 33 ms. Cette méthode se distingue de la plupart des moteurs d'inférence pour modèles de langage de grande taille (LLM), qui ne prennent pas en compte de contrainte d'échéance physique.