JudgeGPT : l'IA qui booste l'efficacité judiciaire au Pakistan

JudgeGPT : l'IA qui booste l'efficacité judiciaire au Pakistan

Un système d'IA a aidé les juges pakistanais à réduire d'importants arriérés avec un retour de 38,50 $ pour chaque dollar investi.

Selon les auteurs, le Pakistan compte moins de deux juges pour 100 000 habitants. En comparaison, l'UE en a 22 et l'Angleterre et le pays de Galles 30. À la fin de 2024, 2,26 millions de cas étaient en attente, dont 82 % dans des tribunaux de première instance. Les juges travaillent avec une technologie rudimentaire et sans personnel de soutien. Avant l'expérience, seulement environ 25 % avaient déjà utilisé un modèle de langage de grande taille comme ChatGPT.

Des chercheurs de l'ETH Zurich, de la New Economic School et de l'Imperial College London ont mené une expérience de terrain à grande échelle avec le système judiciaire pakistanais. L'essai randomisé a concerné 1 559 juges dans 118 tribunaux, soit environ la moitié de tous les juges des tribunaux de première instance au Pakistan.

L'outil utilisé était JudgeGPT, un assistant IA basé sur GPT-4 d'OpenAI, conçu pour les tribunaux de première instance pakistanais. Il utilise la génération augmentée par récupération pour rechercher dans une base de données de 129 235 documents, y compris 128 292 décisions de justice et 943 lois pakistanaises. Lorsqu'un juge saisit une requête, JudgeGPT sélectionne les dix passages les plus pertinents et génère une réponse citée.

Juges formés résolvent 1 848 cas supplémentaires par an et par district

Les chercheurs ont divisé les juges en trois groupes. L'un a eu accès à JudgeGPT avec une formation ciblée : six cours de 90 minutes sur trois semaines, dispensés par le professeur Elliott Ash de l'ETH après les heures de tribunal. Les juges ont appris quelles tâches convenaient à l'outil, où il avait des limites et comment vérifier ses résultats.

Un deuxième groupe a eu le même accès à l'IA mais seulement un séminaire général sur la technologie et le droit. Le groupe témoin a assisté à ce séminaire sans accès à JudgeGPT.

L'accès à l'IA seul n'a pas eu beaucoup d'effet. Les juges ayant reçu une formation ciblée ont utilisé JudgeGPT quatre fois plus que ceux du groupe du séminaire général. Après 40 semaines, les juges formés avaient en moyenne près de 60 connexions et plus de 200 requêtes. Le groupe de comparaison avait en moyenne environ 20 connexions et moins de 50 requêtes.

Les districts avec plus de juges formés ont résolu plus de cas. À des niveaux d'exposition modérés, cela a signifié environ 1 848 cas supplémentaires par an et par district, soit une augmentation de 6,3 %. Même les districts dans le quartile inférieur ont tout de même traité environ 616 cas de plus.

La qualité des jugements s'améliore sans biais supplémentaire

La qualité des décisions est restée stable ou s'est améliorée. Le taux d'appel par 1 000 cas résolus a légèrement diminué, et les juges ont travaillé les mêmes heures sans changement dans l'équilibre travail-vie personnelle. Les chercheurs estiment des économies d'environ 38,50 $ par dollar investi, basé sur le coût qu'il faudrait pour embaucher suffisamment de juges supplémentaires pour obtenir le même rendement. Même les estimations conservatrices placent le retour à "au moins" 10 $ par dollar.

Une revue d'environ 4 000 jugements a révélé plus de textes signalés par l'IA, comme prévu. Cependant, la lisibilité, la longueur et le nombre d'arguments juridiques sont restés constants. Un contrôle de qualité basé sur un modèle de langage, validé par deux avocats pakistanais, a montré une légère amélioration. Les décisions des juges formés ont été mieux notées dans 59 % des comparaisons par paires, contre 42 % dans le groupe témoin. L'étude n'a trouvé aucune preuve que l'utilisation de l'IA augmentait les biais de genre ou religieux dans le langage judiciaire.

Une formation pratique façonne l'utilisation de l'IA par les juges

Les chercheurs ont examiné des journaux de discussion anonymisés de près de 1 500 juges. La recherche juridique, l'édition de texte et la génération de texte étaient les tâches les plus courantes. Environ 60 % des requêtes cherchaient des informations sur les lois, les procédures ou les concepts juridiques.

Les juges formés ont utilisé JudgeGPT davantage pour l'édition et la synthèse de texte, des tâches où les modèles de langage sont plus fiables. Ils ont posé moins de questions juridiques générales, où le risque d'hallucination est plus élevé. Les chercheurs affirment que la formation a orienté les juges vers des tâches de soutien limité tout en laissant les décisions finales entre leurs mains.

Environ un cinquième des demandes impliquait ce que les chercheurs appellent "la délégation substantielle à l'IA", où les juges demandaient à JudgeGPT d'évaluer des décisions ou de rédiger des raisonnements de manière autonome. La formation a rendu les juges plus enclins à décider eux-mêmes des affaires et à n'utiliser l'IA que pour rédiger leurs raisonnements.

Les chercheurs soulignent que leurs résultats ne soutiennent pas l'idée de remplacer les juges par l'IA. Ce que l'expérience montre, disent-ils, c'est que l'IA peut améliorer la productivité du secteur public, mais seulement lorsqu'elle est associée à une formation qui oriente les utilisateurs vers les bonnes tâches. Sans cela, la plupart des gains disparaissent.

Les gains de productivité dans cette étude sont probablement un minimum, pas un maximum. JudgeGPT fonctionnait sur GPT-4, un modèle pré-reasoning qui était le mieux adapté au projet à l'époque. Les modèles de raisonnement d'aujourd'hui écrivent mieux, hallucinent moins et gèrent des tâches complexes de manière plus fiable.