La recherche en IA te passionne ?
Les papers et avancées qui comptent, expliqués simplement, chaque soir. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Les contraintes de décodage offrent des garanties formelles que les prompts n'assurent pas, mais elles peuvent altérer la distribution d'un modèle et nuire à la qualité en situation stricte. Leur mise en œuvre repose sur des masques de tokens dont la construction est difficile et parfois coûteuse, avec des travaux en cours côté GPU. Des schémas d'usage pragmatiques sont proposés pour en tirer parti sans dégrader le raisonnement.
Sous contrainte, validité ne rime pas toujours avec qualité
Une sortie conforme à un schéma ne garantit ni sa probabilité ni sa véracité. L'application d'un masquage local avide peut modifier la distribution du modèle et entraîner une baisse de la qualité de sortie ou des performances de raisonnement lorsque les contraintes sont strictes. Des études ont comparé différentes méthodes de contrainte et documenté leurs effets. Des solutions comme ASAP sont proposées pour limiter l'impact négatif du masquage. Certaines métriques peuvent devenir trompeuses, car elles sont rendues trivialement favorables par l'application de contraintes.
Ce que la contrainte impose que le prompt n’assure pas
Le prompting agit sur les probabilités via le contexte, mais ne peut pas rendre impossible la sélection de tokens invalides. À l'inverse, le décodage contraint applique un masque qui exclut les choix enfreignant une règle formelle, comme une grammaire ou un schéma JSON. En pratique, demander au modèle de produire uniquement du JSON valide avec des exemples dans le prompt fonctionne dans 99 appels sur 100, mais cela ne constitue pas une garantie formelle au niveau des tokens.
Implémenter les masques et adopter des usages pragmatiques
La principale difficulté du décodage contraint réside dans la construction du masque des tokens autorisés, une étape qui peut s'avérer coûteuse. Des recherches portent sur l'accélération de ce prétraitement et sur la génération de masques adaptée aux GPU. Pour un usage pratique, il est conseillé de laisser le modèle raisonner librement puis de contraindre l'extraction, et d'ajuster la rigueur des contraintes selon la tâche. Des recommandations précisent dans quels cas le décodage contraint est pertinent et comment interpréter ses garanties.
