Tu veux les meilleurs outils IA avant les autres ?
On teste et on décrypte les nouveaux outils IA chaque soir, en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Une IA pour prévenir les agressions sexuelles : une approche innovante
Imaginez une intelligence artificielle capable de prévenir les agressions sexuelles avant même qu'elles ne se produisent, tout en respectant la vie privée des utilisateurs et sans les juger. C'est le défi qu'a relevé Override Labs avec son produit phare, Is This Okay? (ITO). Cet outil offre aux adolescents un espace sécurisé pour réfléchir à des situations sexuelles ambiguës, en s'appuyant sur l'intelligence artificielle et des recherches cliniques rigoureuses.
Dans un épisode de Just Now Possible, Teresa Torres a discuté avec Priya Nakra, fondatrice et responsable produit, et Olivia Rowley, conseillère en IA et membre du conseil d'Override Labs. Leur organisation à but non lucratif se consacre à la prévention de la violence basée sur le genre, et ITO est conçu pour fournir un accompagnement sans jugement aux jeunes.
Un développement basé sur des données et une expertise clinique
Pour concevoir ITO, l'équipe d'Override Labs a analysé 2 000 publications Reddit issues de divers sous-forums. Cette démarche a permis de valider le besoin d'un outil permettant aux adolescents de réfléchir à des questions de consentement. L'organisation a collaboré avec un thérapeute agréé pour élaborer un cadre d'évaluation des risques, garantissant que chaque aspect du produit est fondé sur des principes cliniques solides.
Chaque décision de conception a été prise pour éviter que l'outil ne soit utilisé à des fins nuisibles. Par exemple, ITO ne propose jamais de réponse de type "feu vert", qui pourrait être interprétée comme une autorisation de passer à l'acte. Au lieu de cela, l'outil guide les utilisateurs à travers une réflexion approfondie sur leurs choix.
Une étoile du Sud pour éviter le pire
Contrairement à de nombreuses entreprises technologiques qui se fixent des "étoiles du Nord" pour guider leur développement, Override Labs a choisi de définir une "étoile du Sud". Cette approche consiste à identifier le pire résultat possible et à concevoir le produit pour l'éviter. Cela a permis à l'équipe de se concentrer sur la prévention des préjudices plutôt que sur la croissance à tout prix.
L'expertise clinique a joué un rôle crucial dans la définition du ton et de la structure de l'IA. La structure de réponse de l'outil est fondée sur l'entretien motivationnel, comprenant trois parties : valider, réfléchir et inviter à la réflexion.
Une approche de la vie privée par conception
L'un des principes fondamentaux d'Override Labs est la "vie privée par conception". Cela signifie qu'ITO ne nécessite pas de création de compte, n'utilise pas de cookies et ne suit pas les utilisateurs entre les sessions. Cette approche garantit que les adolescents peuvent utiliser l'outil en toute confidentialité, sans craindre d'être surveillés.
La classification des risques est effectuée de manière déterministe avant même que l'IA Claude ne soit invoquée. Cela permet à l'outil d'adapter ses réponses en fonction du niveau de risque, tout en respectant la vie privée des utilisateurs.
Mesurer l'impact d'une prévention invisible
L'un des défis majeurs auxquels est confronté Override Labs est de mesurer l'impact de leur produit. En effet, le succès d'ITO se traduit par l'absence d'événements négatifs, ce qui complique l'évaluation de son efficacité. Cependant, l'organisation reste engagée dans la construction d'un écosystème de produits visant à prévenir la violence basée sur le genre.
Override Labs développe également un outil destiné aux femmes et un jeu web servant d'entonnoir principal pour sensibiliser les utilisateurs. Une couche API institutionnelle est également en préparation pour étendre l'impact de leurs solutions.
Un modèle philanthropique pour un impact durable
Le développement d'ITO a été rendu possible grâce au soutien du Fund to Prevent Sexual Assault, un incubateur philanthropique qui a financé le premier groupe de projets d'Override Labs. Ce modèle à but non lucratif permet à l'organisation de prendre des décisions de conception axées sur la prévention, sans les contraintes de rentabilité auxquelles font face les entreprises traditionnelles.
Priya Nakra a quitté une carrière technologique de 10 ans pour fonder cette organisation, soulignant son engagement envers la prévention de la violence basée sur le genre.
