L’IA et sa régulation t’intéressent ?
Lois, cadres et décisions qui façonnent l’IA, décryptés en français. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisis ton rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
L'ascension de Brett Levenson dans la modération de contenu
En 2019, Brett Levenson a quitté Apple pour rejoindre Facebook en tant que responsable de l'intégrité commerciale, à une époque où le réseau social était encore sous le choc du scandale Cambridge Analytica. Levenson pensait initialement que les problèmes de modération de contenu pouvaient être résolus par une technologie améliorée. Cependant, il a rapidement découvert que le problème était bien plus complexe que prévu.
Les modérateurs humains devaient se référer à un document de politique de 40 pages, souvent traduit automatiquement, pour prendre des décisions en seulement 30 secondes sur chaque contenu signalé. Ces décisions incluaient le blocage du contenu, le bannissement de l'utilisateur ou la limitation de la diffusion. Selon Levenson, la précision de ces décisions était à peine meilleure que 50%, comparant ce processus à un simple lancer de pièce.
Les défis de la modération dans l'ère des chatbots IA
Cette approche réactive et souvent retardée s'avérait inefficace dans un environnement où des acteurs adverses, bien organisés et financés, proliféraient. L'essor des chatbots IA n'a fait qu'aggraver la situation, avec des incidents médiatisés où des chatbots ont donné des conseils dangereux aux adolescents ou généré des images inappropriées contournant les filtres de sécurité.
Face à ces défis, Levenson a eu l'idée de transformer les documents de politique en logique exécutable, une approche qu'il a baptisée « politique en tant que code ». Cette idée a mené à la création de Moonbounce, qui a récemment annoncé avoir levé 12 millions de dollars lors d'un tour de table co-dirigé par Amplify Partners et StepStone Group.
Moonbounce : une technologie de modération avancée
Moonbounce travaille avec des entreprises pour ajouter une couche de sécurité supplémentaire à chaque fois que du contenu est généré, que ce soit par un utilisateur ou par une IA. L'entreprise a développé son propre modèle de langage capable d'examiner les documents de politique d'un client, d'évaluer le contenu en temps réel et de fournir une réponse en 300 millisecondes ou moins. Selon les préférences du client, cette réponse peut consister à ralentir la distribution du contenu en attendant une révision humaine ou à bloquer immédiatement le contenu à haut risque.
Des partenariats stratégiques et une portée étendue
Actuellement, Moonbounce dessert trois principaux secteurs : les plateformes de contenu généré par les utilisateurs, comme les applications de rencontre, les entreprises d'IA développant des personnages ou des compagnons, et les générateurs d'images IA. Moonbounce soutient plus de 40 millions de révisions quotidiennes et compte plus de 100 millions d'utilisateurs actifs quotidiens.
Parmi les clients de Moonbounce figurent Channel AI, une startup d'accompagnement IA, Civitai, une société de génération d'images et de vidéos, ainsi que les plateformes de jeu de rôle de personnages Dippy AI et Moescape.
La sécurité comme avantage concurrentiel
Levenson affirme que la sécurité peut devenir un avantage produit, un concept qui n'a jamais été pleinement intégré dans les produits auparavant. Il observe que les clients de Moonbounce trouvent des moyens innovants d'utiliser cette technologie pour faire de la sécurité un facteur de différenciation et une partie intégrante de leur offre produit.
Répondre aux pressions légales et réputationnelles
Les entreprises d'IA sont confrontées à une pression croissante, tant légale que réputationnelle, après des incidents où des chatbots ont été accusés d'inciter des adolescents et des utilisateurs vulnérables au suicide. Des générateurs d'images comme Grok de xAI ont également été utilisés pour créer des images non consensuelles. Ces incidents soulignent l'échec des garde-fous internes en matière de sécurité et la nécessité de solutions externes robustes.
Levenson explique que Moonbounce agit comme un tiers de confiance, appliquant les règles en temps réel sans être submergé par le contexte des conversations. L'entreprise se concentre uniquement sur l'application des règles, laissant le chatbot gérer la mémoire contextuelle de la conversation.
Vers une modération proactive
Avec son co-fondateur Ash Bhardwaj, Levenson travaille sur une nouvelle capacité appelée « pilotage itératif », qui vise à intercepter et rediriger les conversations nuisibles vers des réponses plus constructives. Cette approche a été inspirée par des cas tragiques, comme le suicide en 2024 d'un adolescent en Floride, obsédé par un chatbot de Character AI.
Plutôt que de simplement refuser les sujets nuisibles, le système de Moonbounce intercepterait la conversation et modifierait les prompts en temps réel pour encourager des réponses plus positives et utiles de la part du chatbot.
Une vision pour l'avenir
Interrogé sur une éventuelle acquisition par une entreprise comme Meta, Levenson reconnaît que Moonbounce s'intégrerait bien dans l'écosystème de son ancien employeur. Cependant, il reste prudent quant à la possibilité que la technologie soit restreinte par une telle acquisition. Il souhaite que Moonbounce continue à bénéficier à un large éventail d'utilisateurs, sans être limité par les intérêts d'une seule entreprise.
