Fin Labs dévoile Monitors : la transparence au cœur de l'IA

Fin Labs Paris : une avancée vers la transparence avec Monitors

Lors d'une annonce récente à Paris, Fin Labs a introduit Monitors, une nouvelle gamme de produits qui vient enrichir l'offre existante de Fin, comprenant déjà Insights et Recommendations. Cette suite complète vise à améliorer l'observabilité et la confiance dans les opérations de Fin, en permettant aux entreprises de mieux comprendre et contrôler ce que fait leur IA.

Avec Monitors, les entreprises peuvent désormais choisir quelles conversations, qu'elles soient gérées par Fin ou par des humains, doivent être examinées. Grâce aux Custom Scorecards, elles peuvent établir des critères d'évaluation qui reflètent les priorités spécifiques de leur entreprise. Cela garantit une surveillance des métriques essentielles, offrant ainsi un contrôle total sur la qualité du support client.

En complément d'Insights et Recommendations, Monitors fournit tous les outils nécessaires pour analyser les opérations de support, évaluer chaque interaction selon des critères définis, et tendre vers une expérience client irréprochable.

L'importance croissante de la transparence et du contrôle

L'industrie de l'IA connaît une évolution rapide, avec des agents capables de gérer des tâches de plus en plus complexes, y compris des conversations aux conséquences réelles. Fin, par exemple, sert près de 8 000 clients et affiche un taux de résolution de 67%, traitant environ 2 millions de requêtes clients chaque semaine, y compris dans des secteurs réglementés.

Alors que les agents prennent en charge des tâches plus complexes à grande échelle, l'observabilité devient cruciale. Actuellement, de nombreux responsables de support ne peuvent pas répondre avec certitude à des questions fondamentales sur les performances de leur agent : offre-t-il une bonne expérience ? Résout-il efficacement des problèmes complexes ? Représente-t-il la marque de manière fiable ? Les infrastructures traditionnelles ne suffisent plus, et les scores CSAT ou les échantillons de QA ne sont pas assez extensibles.

Le défi est de transformer cette "boîte noire" en un système transparent. C'est pourquoi Fin a été conçu avec la transparence comme priorité, permettant aux équipes de comprendre et d'optimiser le système de manière autonome.

Le cycle d'amélioration continue de Fin

L'analyse est une étape cruciale pour découvrir ce qui se passe réellement et amorcer des améliorations. Pour avoir confiance dans une opération d'IA, trois éléments sont essentiels :

• Une compréhension complète des interactions entre Fin, l'équipe humaine et les clients.
• Un moyen de surveiller et d'évaluer les conversations selon des critères pertinents pour l'entreprise.
• Des recommandations basées sur l'IA pour agir sur les découvertes.

L'année dernière, Fin a lancé Insights et Recommendations pour répondre à ces besoins. Aujourd'hui, avec l'introduction de Monitors, l'entreprise complète un système d'observabilité totale, ouvrant ainsi la boîte noire.

Monitors : garantir le respect des standards dans chaque interaction

Comprendre le ressenti d'un client après une conversation est différent de savoir si cette conversation a été gérée correctement. Les deux aspects sont cruciaux pour assurer un service de qualité.

Monitors propose une nouvelle capacité de QA qui permet de définir quelles conversations doivent être examinées et de les évaluer selon des critères de qualité spécifiques. Ce système remplace les méthodes d'échantillonnage ad hoc et les évaluations basées sur des tableurs par un processus évolutif, adapté à l'augmentation du volume d'interactions.

Deux éléments clés composent ce système : Monitors, qui détermine les conversations à examiner, et les Custom Scorecards, qui définissent les critères d'évaluation.

Cibler les bonnes conversations avec une couverture adéquate

L'échantillonnage aléatoire a toujours été une méthode imprécise. Lorsque l'IA gère des milliers de conversations chaque semaine, un échantillon arbitraire ne capture pas de manière fiable les cas limites ou les escalades complexes.

Avec Monitors, les entreprises peuvent définir comment les conversations sont sélectionnées et évaluées. Cela peut inclure le ciblage de signaux de risque spécifiques, comme "le client a montré des signes de vulnérabilité financière" ou "Fin a répété la même réponse sans résoudre le problème". Alternativement, des échantillons génériques et cohérents peuvent être créés pour évaluer la qualité au fil du temps. Les critères peuvent être définis à partir d'une liste de filtres existants ou décrits en langage naturel pour plus de nuance.

Les entreprises peuvent combiner ces approches pour se concentrer sur les conversations les plus importantes tout en maintenant un échantillon de QA structuré et régulier chaque semaine.

Custom Scorecards : appliquer vos standards de manière cohérente

Chaque entreprise a ses propres priorités et compromis, ce qui signifie qu'une grille de qualité standardisée ne reflétera pas nécessairement ce que les clients apprécient réellement.

Les Custom Scorecards permettent aux entreprises de définir ce qui constitue une "bonne" interaction pour elles et de transformer cela en un score de qualité personnalisé pour chaque conversation. Les critères peuvent être notés automatiquement par l'IA, examinés par un humain, ou les deux, dans une même grille. Cela permet de combiner l'échelle et le jugement dans un seul système.

Chaque conversation est ensuite évaluée selon ces critères, et un score de qualité global est calculé en fonction de la configuration de l'entreprise. Les critères peuvent être pondérés selon leur importance, et certains peuvent être marqués comme critiques, de sorte qu'un seul échec puisse invalider l'évaluation entière si nécessaire.

Le résultat est un score de qualité unique et cohérent qui reflète les standards de l'entreprise, et non une métrique générique ou une collection de vérifications déconnectées. Cela permet de mesurer la qualité dans le temps et de suivre les performances du support IA et humain par rapport à une définition cohérente de "bon".

Review Queue : transformer les alertes en actions correctives

Lorsque des conversations nécessitent un examen humain selon les critères définis, elles sont placées dans la Review Queue. Chaque conversation correspondante à un Monitor est automatiquement assignée à l'examinateur approprié, avec sa grille de score jointe et le statut de révision suivi.

Les examinateurs travaillent sur les conversations directement dans Intercom, remplissant les critères de la grille au fur et à mesure. Lorsqu'une conversation échoue, ils la marquent, ajoutent une note sur ce qui a mal tourné, et peuvent suggérer des solutions potentielles, telles que la mise à jour de la documentation. Ces conversations passent ensuite à un suivi, où l'équipe peut appliquer des corrections.

Cela garantit qu'aucune information ne se perd dans un tableur ou un fil Slack, et que la QA cesse d'être une boucle qui se termine par un score pour devenir une boucle qui se termine par une amélioration.

Reporting : utiliser la QA comme un signal continu

Le reporting connecte les scores de qualité à l'ensemble des opérations. Les entreprises peuvent suivre les scores d'examen dans le temps, à travers les Monitors et les Scorecards, et les comparer directement avec le CX Score, le taux de résolution, et d'autres métriques de performance.

Les modèles qui étaient auparavant invisibles deviennent clairs : un sujet spécifique sous-performant de manière constante, une baisse de qualité qui coïncide avec un changement récent dans la base de connaissances, une équipe dont les scores s'améliorent semaine après semaine. Les données de QA deviennent un signal continu sur comment l'opération s'améliore, et non un exercice ponctuel qui vit dans un outil séparé.

Perspectives futures

Les Monitors pour les conversations Fin sont disponibles dès aujourd'hui, et des développements futurs sont déjà en cours.

• La QA des agents humains apportera la même évaluation structurée aux conversations de votre équipe humaine, offrant un système de qualité cohérent à travers toute votre opération de support.

• Des alertes en temps réel vous notifieront dès qu'une conversation franchit un seuil que vous avez défini, avant que le problème n'atteigne plus de clients.

• L'évaluation de la base de connaissances reliera le scoring IA directement à votre contenu, de sorte que les conversations soient évaluées par rapport à vos dernières politiques et documentations, détectant les réponses inexactes ou obsolètes et fournissant une justification claire liée à la source pertinente.

Vers une transparence totale

Créer une expérience client parfaite avec l'IA nécessite de la transparence. Il est essentiel de comprendre comment le système fonctionne pour maintenir et améliorer la qualité dans le temps. Avec Insights, Monitors et Recommendations, cela est désormais possible. Cette suite d'analyse complète permet de voir ce qui se passe dans chaque conversation, de s'assurer qu'elle respecte les standards de l'entreprise, et d'identifier les opportunités d'amélioration lorsque cela est nécessaire.

Tout dans l'étape d'analyse du cycle d'amélioration continue a été construit en étroite collaboration avec les clients de Fin. Leurs cas d'utilisation, leurs retours et leurs conversations honnêtes sur ce qui ne fonctionnait pas ont été essentiels. Ce partenariat est la raison pour laquelle Fin est l'agent le plus performant sur le marché. Et l'entreprise n'a pas l'intention de ralentir.