Vistaly : l'IA redéfinit les arbres de solutions d'opportunités

L'impact de l'IA sur le développement de produits

Récemment, un dirigeant a terminé un projet d'ingénierie particulièrement intense. Bien qu'il soit familier avec le codage depuis plusieurs années, il ne se considère pas comme un ingénieur de formation. Son parcours professionnel est davantage orienté vers la gestion de produits et le design. Cependant, l'introduction de l'intelligence artificielle dans le quotidien professionnel change radicalement la donne. Elle permet de réaliser des choses que l'on n'aurait jamais cru possibles. Cette expérience en est la parfaite illustration.

Aujourd'hui, ce dirigeant souhaite partager une aventure d'ingénierie. Bien que certains aspects techniques puissent sembler complexes, il est important de souligner qu'il n'avait aucune connaissance préalable de ces concepts il y a un an. Grâce à l'IA, il a pu apprendre et progresser. Son but en partageant cette histoire est de démontrer ce qui est désormais réalisable grâce à ces nouvelles technologies.

Lancement des arbres de solutions d'opportunités par Vistaly

En février, le dirigeant a annoncé le développement de deux nouveaux services pour Vistaly : des instantanés d'entretiens générés par l'IA et des arbres de solutions d'opportunités également générés par l'IA. Un appel à partenaires a été lancé pour tester ces innovations, et plus de 100 entreprises ont manifesté leur intérêt. Après une sélection rigoureuse, huit partenaires ont été retenus pour la phase de conception initiale.

Chaque équipe a téléchargé trois entretiens clients, à partir desquels des moments clés et des opportunités ont été extraits. Ces informations ont ensuite été utilisées pour générer un arbre de solutions d'opportunités. Le rôle du dirigeant était de fournir les services d'IA, tandis que Vistaly se concentrait sur la création de l'interface utilisateur et des flux de travail associés.

Les premiers retours ont été extrêmement positifs. Les équipes ont rapidement exprimé le souhait de pouvoir intégrer davantage d'entretiens, ce qui a nécessité des ajustements pour répondre à cette demande croissante.

Les défis de l'intégration de nouveaux entretiens

Mettre à jour un arbre de solutions d'opportunités avec de nouveaux entretiens s'est avéré être un défi bien plus complexe que prévu. Initialement, la difficulté de cette tâche avait été sous-estimée.

L'objectif commun avec Vistaly est de ne pas simplement produire des arbres de solutions d'opportunités générés par l'IA, mais de permettre aux utilisateurs d'interagir avec eux, de les ajuster et de collaborer avec l'IA. Il est souhaité de faciliter la synthèse des entretiens, sans pour autant la réaliser entièrement à leur place.

Une capture d'écran de Vistaly montre comment deux opportunités peuvent être fusionnées, avec des modifications visibles et interactives. Le but est de communiquer clairement chaque changement, permettant ainsi à l'équipe d'accepter, de modifier ou de rejeter les modifications proposées. Pour cela, il a été décidé de s'inspirer de l'outil git diff, qui est couramment utilisé pour suivre les modifications dans le code. Un équivalent pour les arbres de solutions d'opportunités a donc été recherché.

Cette décision s'est avérée judicieuse, mais elle a également engendré un volume de travail considérable. Il ne suffisait pas que le service génère un arbre mis à jour; il devait également fournir un guide détaillé des changements effectués.

Le prototype : une étape parmi d'autres

Un thème récurrent dans le podcast Just Now Possible est qu'il est relativement aisé de créer un prototype impressionnant avec l'IA, mais bien plus ardu de transformer ce prototype en un produit prêt pour la production. Cela a été exactement l'expérience vécue.

Le service d'arbre de solutions d'opportunités se compose de deux sous-services : le premier génère un nouvel arbre à partir de zéro, et le second met à jour un arbre existant avec de nouveaux entretiens.

Le premier service faisait partie de la phase alpha initiale et fonctionnait correctement. Cependant, le second service devait être développé de toutes pièces avant que les partenaires puissent ajouter un quatrième entretien.

Chaque opportunité dans l'arbre possède des sources et des enfants qui ne doivent pas être perdus lors de modifications telles que la division, la fusion ou la suppression. Bien que ces éléments puissent sembler similaires en surface, ils sont en réalité très différents. Lors de la mise à jour d'un arbre, il est crucial de préserver autant que possible la structure existante, sauf si le nouveau contenu justifie un changement.

Malgré ces défis, il a été agréablement surpris de constater qu'un résultat fonctionnel a pu être obtenu en quelques jours seulement. Les partenaires de conception ont commencé à utiliser le service, et l'un d'eux a rapidement atteint les limites bêta. Ils ont alors demandé à passer à un abonnement payant pour obtenir un accès complet, ce qui a été une source de satisfaction.

Cependant, à mesure qu'ils téléchargeaient plus d'entretiens, le design initial a commencé à montrer ses limites. Des comportements inattendus ont été observés.

Le service d'IA générait un arbre mis à jour et fournissait un ensemble de changements avec des instructions détaillées. L'équipe de Vistaly a remarqué que ces instructions ne produisaient pas toujours l'arbre final attendu. L'intention était de guider le client à travers chaque changement, mais parfois, l'arbre généré par les instructions différait de celui produit par le service.

Vistaly a signalé ce problème alors que le dirigeant se rendait à la Nouvelle-Orléans pour le Jazz Fest. Avec le recul, il est heureux de ne pas avoir su l'ampleur du travail qui l'attendait à son retour. Il restait environ 80 % du travail à accomplir pour transformer la mise à jour de l'arbre en un produit véritablement robuste.

Une analyse approfondie des problèmes

À son retour, une analyse a été entreprise pour diagnostiquer le problème et l'ampleur de la tâche a rapidement été réalisée. Le service fonctionnait comme un pipeline combinant des étapes de LLM avec du code déterministe.

En examinant les bugs, il est apparu que l'approche n'était pas optimale. Les différences entre les arbres, contrairement aux documents linéaires, sont ambiguës.

Si une phrase est ajoutée à un document, la différence est claire. Mais si une opportunité est divisée en deux puis fusionnée avec une autre, le mouvement initial est masqué.

Lorsque A est divisé en A et B, les sources et les enfants d'A doivent être répartis entre A et B. Si le modèle décide de diviser une opportunité, il doit déterminer comment répartir les sources et les enfants entre les nouvelles opportunités.

Par exemple, si A a les sources 1, 2, 3 et les enfants x, y, z, après la division, A pourrait avoir les sources 1 et 2 et l'enfant x, tandis que B aurait la source 3 et les enfants y et z.

Lorsque B est fusionné avec C, C hérite des sources et des enfants de B. Si C a les sources 4 et 5 et les enfants t, u, v, après la fusion, C aurait les sources 3, 4, 5 et les enfants t, u, v, y, z.

En comparant l'arbre d'entrée à l'arbre de sortie, il semble que certaines sources et enfants d'A se déplacent vers C, mais sans explication visible. La division et la fusion sont conceptuellement claires, mais invisibles dans la différence.

Il a été réalisé que les différences d'arbres étaient bien plus complexes que celles des textes linéaires. Il fallait non seulement montrer ce qui avait changé, mais aussi expliquer pourquoi, afin d'impliquer l'utilisateur. Chaque mouvement devait être reconstruit étape par étape.

Cela signifiait que le modèle devait montrer son travail, ce qui a ouvert une nouvelle série de défis.

Refactorisation des prompts pour plus de transparence

Il a été décidé de refactoriser les prompts pour que le modèle génère à la fois la sortie finale et les étapes intermédiaires.

Les prompts indiquaient déjà les actions possibles : ajouter, supprimer, reformuler, fusionner, diviser, etc. Mais ces directives n'étaient pas suffisantes. Le modèle devait désormais montrer son travail dans le langage des ensembles de changements, des mouvements spécifiques compréhensibles pour l'utilisateur final.

En reformulant les prompts, il a été demandé au modèle de détailler chaque étape du processus de création de l'arbre final. Cela impliquait de décomposer chaque action en mouvements distincts que l'utilisateur pourrait suivre et comprendre. Par exemple, si une opportunité devait être divisée, le modèle devait expliquer comment il répartissait les sources et les enfants entre les nouvelles opportunités. De même, pour une fusion, le modèle devait détailler comment les éléments des opportunités fusionnées étaient combinés.

Cette approche a permis de rendre le processus de mise à jour des arbres plus transparent et compréhensible pour les utilisateurs. En montrant chaque étape, il a été possible non seulement de clarifier ce qui avait changé, mais aussi pourquoi ces changements avaient eu lieu, renforçant ainsi la confiance des utilisateurs dans le système.

Cependant, cette refactorisation a également révélé de nouveaux défis. Le modèle devait être capable de gérer des cas complexes où plusieurs actions étaient nécessaires pour atteindre le résultat final. Cela a nécessité une collaboration étroite entre l'équipe de développement et le modèle d'IA pour affiner les prompts et s'assurer que chaque étape était correctement documentée.

En fin de compte, cette refactorisation a permis d'améliorer considérablement la qualité du service, en offrant aux utilisateurs une vue plus claire et plus détaillée des changements apportés à leurs arbres de solutions d'opportunités. Cela a également renforcé l'engagement envers la transparence et la collaboration, en montrant comment l'IA peut être utilisée pour faciliter des processus complexes tout en restant accessible et compréhensible pour les utilisateurs finaux.