Promptfoo - Fini le doigt mouillé pour tester vos LLM

Promptfoo - Fini le doigt mouillé pour tester vos LLM

Si vous utilisez des LLM dans vos projets, vous savez que le plus flippant, ce n'est pas de les faire fonctionner (quoique... lol), mais de vérifier qu'ils ne disent pas n'importe quoi ! Pour cela, il existe Promptfoo, un outil CLI open source qui permet de tester vos prompts, comparer les modèles et scanner les vulnérabilités de vos applications IA, le tout avec un simple fichier YAML.

Ça s'installe en une commande (npx promptfoo@latest init) et vous voilà avec un fichier promptfooconfig.yaml où vous définissez vos prompts, les modèles à tester et les assertions à vérifier. Par exemple, si vous voulez que votre traduction contienne bien "Bonjour le monde", il suffit d'un petit tour dans le YAML, d'ajouter une assertion contains, et c'est terminé. Plus besoin de relire 200 outputs à la main en plissant les yeux !

Cependant, attention : le YAML peut vite devenir un plat de spaghetti si vous testez 15 prompts sur 8 modèles en parallèle. Commencez donc petit.

La matrice d'évaluation de Promptfoo, sobre mais efficace

L'outil supporte plus de 60 providers différents comme OpenAI, Claude, Gemini, Llama via Ollama, Mistral, etc. Vous pouvez tout mettre dans le même fichier de configuration et Promptfoo les fait tourner côte à côte. Vous voyez alors directement lequel hallucine le moins, lequel répond le plus vite, et lequel coûte une blinde pour un résultat moyen.

Le tout avec des assertions typées :

• contains
• llm-rubric (où un autre LLM note la réponse)
• javascript pour vos critères personnalisés
• cost et latency pour garder un œil sur la facture

Après avoir testé si votre chatbot traduit correctement, il est également crucial de vérifier qu'il ne se fait pas jailbreaker par un "ignore toutes tes instructions". C'est pourquoi Promptfoo embarque un scanner de vulnérabilités qui couvre plus de 50 types d'attaques : injections de prompts directes et indirectes, fuites de données personnelles, biais, contenu toxique, escalade de privilèges sur les outils...

Il utilise pour cela des techniques comme le Tree of Attacks with Pruning, un algorithme qui explore plusieurs chemins d'attaque en parallèle pour trouver les failles sans recourir à la force brute. Si vous souhaitez approfondir le sujet du red teaming LLM, il existe des compléments côté Python.

Le dashboard red teaming de Promptfoo avec les vulnérabilités détectées

C'est surtout cette intégration CI/CD qui fait la différence. Vous pouvez brancher Promptfoo dans votre pipeline GitHub Actions ou GitLab, et chaque pull request qui touche un prompt est automatiquement testée. En effet, nous avons des tests unitaires pour le code depuis 30 ans, mais pour les prompts, jusqu'ici, c'était plutôt le far west !

Il ne faut pas se mentir non plus, écrire des assertions pour du texte non-déterministe est un autre sport que du assertEqual. Le llm-rubric, qui utilise un LLM pour juger un autre LLM, n'est pas une mauvaise idée, mais cela ajoute aussi une couche de "flou", donc à vous de trouver le bon dosage dans vos tests.

L'équipe a annoncé rejoindre OpenAI début mars, ce qui est plutôt une bonne nouvelle pour le développement du projet... mais pas forcément pour l'indépendance quand on évalue les modèles OpenAI avec un outil OpenAI (on verra bien, hein ^^ lol).

L'orchestration tourne en local sur votre machine (les prompts partent chez les providers pour l'évaluation, mais vos fichiers YAML, vos logs et résultats JSON restent sur votre disque dur). C'est sous licence MIT, et il y a déjà plus de 300 000 utilisateurs, ce qui est tout de même impressionnant !

Voilà, plutôt que de croiser les doigts à chaque déploiement en espérant ne pas vous faire virer, autant tester ses prompts comme on teste son code.