Vistaly réécrit son outil autour d’arbres d’opportunité IA

Le spécialiste des arbres d’opportunité a réécrit son application pour laisser une IA synthétiser des entretiens et tenir l’arbre à jour. Au-delà des prompts, l’équipe décrit une orchestration avec boucles de réparation, des garde-fous d’évaluation et un passage à Bedrock dicté par la résidence des données. Rendre compréhensibles les changements générés reste le point le plus difficile.

Conformité et infrastructure imposent Bedrock en Europe

Vistaly cite la résidence des données, SOC 2 et le GDPR comme raisons du passage à l’inférence Bedrock européenne. Ce choix s’inscrit dans une contrainte déclarée de résidence, qui a orienté l’architecture. L’entreprise rapporte que Bedrock contraint les tokens indépendamment du modèle utilisé. Elle ajoute que les mises à niveau de modèles ne sont pas des remplacements directs, car les prompts sont spécifiques à chaque modèle et à sa version.

Orchestration et évaluations remplacent l’itération de prompts

L’équipe explique qu’un changement d’orchestration a résolu un défaut que l’amélioration des prompts n’avait pas corrigé. Elle décrit l’épuisement des gains liés aux prompts et le besoin d’une boucle de réparation agentique pour équilibrer deux modes d’erreur opposés. Quatre nouvelles évaluations et 16 variantes d’expérimentation ont été introduites pour gérer un compromis entre sous-groupes manquants et parents mal formulés. Avant d’engager un LLM comme juge, une assertion de code, comme détecter un nombre excessif d’enfants sur un nœud, a servi de pré-filtre. Cette évaluation a ensuite été érigée en barrière de production. Teresa Torres rapporte par ailleurs ne pas être parvenue à calibrer un LLM en tant que juge.

Compréhension des changements, priorité UX déclarée

Selon Vistaly, le défi principal n’est pas la qualité brute des sorties mais d’aider les utilisateurs à comprendre ce qui a changé. L’entreprise observe que les utilisateurs préfèrent obtenir une réponse puis pouvoir la corriger, plutôt qu’une collaboration pas à pas avec l’IA. Elle souligne que l’analyse en couches prime sur le choix pipeline ou agent, une erreur d’aperçu d’entretien se propageant aux niveaux supérieurs. Les ensembles de changements ne peuvent pas être évalués en fin de chaîne, plusieurs séquences valides existant pour une même entrée et seule une suite sémantiquement cohérente restant intelligible. L’équipe indique avoir enseigné à l’agent des règles de jeu pour produire ces ensembles et enregistrer des mouvements sémantiques, comme fusion, déplacement ou reformulation.

Refonte totale du produit et nouveau flux de travail

Vistaly a pris la décision de repartir sur de nouvelles bases plutôt que d’intégrer des fonctionnalités d’IA à la V1, et a interrompu les inscriptions à cette version durant la phase de réécriture. Selon l’équipe, il leur a fallu deux mois et demi pour restaurer quasiment toutes les fonctionnalités de la V1, après trois ans consacrés au développement de la première version. La V2 offre la possibilité d’importer des entretiens, de générer un aperçu pour chacun, puis de produire une première version d’arbre, avec un flux de travail agentique dédié à la rédaction et à la mise à jour. Les fondateurs affirment que la composante agents a été la partie la plus facile du projet.

Qualité des données et tests : du terrain aux transcriptions synthétiques

Les données issues de la bêta ont mis en évidence des « entretiens » inadaptés, comprenant notamment des démonstrations commerciales, des réunions avec des parties prenantes ou encore des transcriptions produites par LLM et importées comme interviews. Pour effectuer des tests dans un environnement maîtrisé, Vistaly a mis en place un système comportant 40 points pour créer des transcriptions synthétiques proches du réel. Les modifications d’arbre sont réalisées via MCP, ce qui inclut la correspondance d’un backlog entier d’épopées Jira à l’espace d’opportunité, et l’intégration d’un agent de retour a révélé des problématiques liées au versioning et à la restauration. Teresa Torres indique que des éléments essentiels, tels que les identifiants stables et la traçabilité, ont été négligés à l’étape du prototype. Côté usage, l’équipe décrit une synthèse par chat perçue comme trop lente, et un effet maison de cartes où une opportunité mal formulée contamine les niveaux supérieurs, jusqu’au point où un client anticipe de devoir nettoyer une branche. L’interface guidée de la V1, plus rapide qu’avant, n’a pas suffi à satisfaire les attentes, ce que Vistaly relie à un contexte concurrentiel dominé par des synthèses superficielles plutôt que par de bonnes synthèses plus rapides.