Brief IA : Gleb Tsipursky : mesurer l'IA au résultat accepté

Gleb Tsipursky : mesurer l'IA au résultat accepté

Brief IA
Tom Levy·3 min

Gleb Tsipursky recommande de calculer le coût par résultat commercial accepté. Chez un assureur, les assistants de synthèse et de citation exacte ont été séparés. Il préconise de comparer aléatoirement des cas similaires avec et sans assistance IA.

En bref
1Gleb Tsipursky recommande de calculer le coût par résultat commercial accepté.
2Chez un assureur, les assistants de synthèse et de citation exacte ont été séparés.
3Il préconise de comparer aléatoirement des cas similaires avec et sans assistance IA.
Pourquoi c'est important : l'évaluation proposée inclut la préparation des données, les vérifications et les corrections après livraison.

Gleb Tsipursky, scientifique comportemental et PDG de Disaster Avoidance Experts, recommande aux DSI de mesurer le coût d'un résultat commercial accepté plutôt que celui d'une réponse produite par l'IA. Chez un assureur, il a modifié l'organisation des assistants et réservé certaines tâches aux règles simples.

Le coût inclut aussi les corrections ultérieures

Le calcul proposé par Gleb Tsipursky couvre trois étapes. En amont, il comprend le temps nécessaire pour réunir le contexte et nettoyer les données fournies au système. Durant la production, il intègre la facture du modèle ainsi que les contrôles et les corrections. Après livraison, il prend encore en compte les cas d'exception, les réclamations des clients et les rectifications ultérieures.

La démarche prévoit également de désigner, pour tout usage substantiel, un responsable métier et un responsable technique. Elle impose de préciser les conditions de suspension ou d'abandon de l'application. En cas d'échec, le responsable métier doit pouvoir interrompre le processus ou le réorganiser.

Un assureur sépare les tâches des assistants

L'assistant testé par la compagnie présentait une défaillance d'affichage : certains contenus longs comportant des clauses d'assurance n'apparaissaient pas correctement. Or les gestionnaires de sinistres avaient besoin du libellé exact des contrats, tant pour examiner les demandes d'indemnisation que pour rédiger les courriers aux assurés. Sans restitution fiable, une réponse pouvait donc être inexploitable.

Le brief IA que lisent les pros

L’IA qui transforme le business ?

Stratégies, mouvements et levées IA décryptés, chaque soir en 5 min. Gratuit.

Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.

Choisissez votre rythme

Gratuit · Pas de spam · Désabonnement en 1 clic

Gleb Tsipursky a transféré le conseil relatif aux contrats vers Microsoft Teams, qui traitait mieux ces contenus longs. Il a aussi distingué les assistants chargés des synthèses de ceux chargés de reproduire les citations exactes destinées aux lettres. Cette séparation satisfaisait mieux les contraintes de présentation et de rédaction des courriers.

Pour un autre projet du même assureur, consacré au repérage de commentaires potentiellement problématiques dans des formulaires, il a retenu un traitement progressif. Des règles élémentaires et la recherche de mots-clés pouvaient repérer d'abord les difficultés évidentes ; seuls les commentaires plus nuancés relevaient de l'interprétation par IA. Le traitement des cas courants est ainsi devenu moins complexe et plus transparent.

Tsipursky recommande une comparaison avec les méthodes existantes

Pour décider du recours à l'IA, Gleb Tsipursky préconise une expérimentation commerciale contrôlée. Son protocole commence par la définition précise du travail à évaluer, puis confronte l'assistance par IA au meilleur processus déjà disponible. Des dossiers comparables doivent être répartis au hasard entre les méthodes conventionnelles et celles faisant appel à l'IA.

Il recommande aussi d'évaluer les progrès réalisés sur des problèmes identifiés, plutôt que la quantité d'IA utilisée, pour éviter de récompenser l'usage à la place du résultat. Les équipes devraient présenter leurs réussites, mais également les éléments probants qui les ont conduites à renoncer à l'IA ou à en simplifier l'emploi.

Suivez Brief IA

L'actu IA du jour, aussi dans votre fil.

Commentaires