Moonbounce : l'ancien de Facebook révolutionne la modération IA

De Facebook à une nouvelle vision de la modération

En 2019, Brett Levenson a quitté son poste chez Apple pour rejoindre Facebook, où il a pris en charge l'intégrité commerciale en pleine crise post-Cambridge Analytica. Il espérait qu'une meilleure technologie pourrait résoudre les problèmes de modération de contenu de Facebook. Cependant, il a rapidement découvert que le problème était plus complexe que prévu.

Les modérateurs humains devaient se référer à un document de politique de 40 pages, traduit automatiquement, pour prendre des décisions en seulement 30 secondes sur chaque contenu signalé. Ces décisions, souvent prises dans l'urgence, n'étaient que légèrement plus précises que le hasard, avec une précision d'environ 50 %, selon Levenson.

« C'était un peu comme lancer une pièce de monnaie, quant à savoir si les examinateurs humains pouvaient réellement appliquer les politiques correctement, et cela se produisait de nombreux jours après que le préjudice ait déjà eu lieu », a déclaré Levenson à TechCrunch.

Une méthode réactive face à des défis croissants

Cette approche réactive et tardive n'était pas viable dans un monde où des acteurs adverses agiles et bien financés sont présents. L'essor des chatbots IA n'a fait qu'aggraver le problème, les échecs de modération de contenu ayant entraîné une série d'incidents très médiatisés, comme des chatbots fournissant des conseils sur l'automutilation aux adolescents ou des images générées par IA contournant les filtres de sécurité.

La frustration de Levenson a conduit à l'idée de « policy as code » — une manière de transformer des documents de politique statiques en logique exécutable et mise à jour, étroitement liée à l'application des règles. Cette idée a conduit à la création de Moonbounce, qui a annoncé vendredi avoir levé 12 millions de dollars de financement, a appris TechCrunch en exclusivité. Le tour a été co-dirigé par Amplify Partners et StepStone Group.

La naissance de Moonbounce

Moonbounce travaille avec des entreprises pour fournir une couche de sécurité supplémentaire partout où du contenu est généré, que ce soit par un utilisateur ou par une IA. L'entreprise a formé son propre modèle de langage pour examiner les documents de politique d'un client, évaluer le contenu en temps réel, fournir une réponse en 300 millisecondes ou moins, et agir. Selon les préférences du client, cette action pourrait consister à ralentir la distribution du contenu en attendant une révision humaine ultérieure, ou à bloquer immédiatement le contenu à haut risque.

Aujourd'hui, Moonbounce sert trois principaux secteurs :

• Plateformes traitant du contenu généré par les utilisateurs, comme les applications de rencontres
• Entreprises d'IA construisant des personnages ou des compagnons
• Générateurs d'images IA

Moonbounce soutient plus de 40 millions de révisions quotidiennes et sert plus de 100 millions d'utilisateurs actifs quotidiens sur la plateforme, a déclaré Levenson. Les clients incluent la startup d'IA compagnon Channel AI, l'entreprise de génération d'images et de vidéos Civitai, et les plateformes de jeu de rôle de personnages Dippy AI et Moescape.

La sécurité comme avantage produit

« La sécurité peut en fait être un avantage produit », a déclaré Levenson à TechCrunch. « Cela n'a jamais été le cas parce que c'est toujours quelque chose qui se produit plus tard, pas quelque chose que vous pouvez réellement intégrer dans votre produit. Et nous voyons que nos clients trouvent des moyens vraiment intéressants et innovants d'utiliser notre technologie pour faire de la sécurité un facteur différenciateur, et une partie de leur histoire produit. »

Le responsable de la confiance et de la sécurité de Tinder a récemment expliqué comment la plateforme de rencontres utilise ces types de services alimentés par des LLM pour atteindre une amélioration de 10 fois de la précision des détections.

Un défi croissant pour les entreprises d'IA

Les entreprises d'IA font face à une pression légale et réputationnelle croissante après que des chatbots ont été accusés d'inciter des adolescents et des utilisateurs vulnérables au suicide, et des générateurs d'images comme Grok de xAI ont été utilisés pour créer des images nues non consensuelles. Clairement, les garde-fous internes échouent, et cela devient une question de responsabilité. Levenson a déclaré que les entreprises d'IA cherchent de plus en plus de l'aide en dehors de leurs murs pour renforcer leur infrastructure de sécurité.

« Nous sommes un tiers entre l'utilisateur et le chatbot, donc notre système n'est pas inondé de contexte de la manière dont la conversation elle-même l'est », a déclaré Levenson. « Le chatbot lui-même doit se souvenir, potentiellement, de dizaines de milliers de tokens qui ont précédé... Nous nous préoccupons uniquement de l'application des règles en temps réel. »

Vers une modération proactive

Levenson dirige l'entreprise de 12 personnes avec son ancien collègue d'Apple Ash Bhardwaj, qui a précédemment construit une infrastructure cloud et IA à grande échelle pour les offres principales du fabricant d'iPhone. Leur prochain objectif est une capacité appelée « steering itératif », développée en réponse à des cas comme le suicide en 2024 d'un garçon de 14 ans en Floride qui est devenu obsédé par un chatbot de Character AI. Plutôt qu'un refus brutal lorsque des sujets nuisibles surgissent, le système intercepterait la conversation et la redirigerait, modifiant les invites en temps réel pour pousser le chatbot vers une réponse plus activement supportive.

« Nous espérons pouvoir ajouter à notre boîte à outils d'actions la capacité de diriger le chatbot dans une meilleure direction pour, essentiellement, prendre l'invite de l'utilisateur et la modifier pour forcer le chatbot à être non seulement un auditeur empathique, mais un auditeur utile dans ces situations », a déclaré Levenson.

Une intégration future incertaine

Lorsqu'on lui a demandé si sa stratégie de sortie impliquait une acquisition par une entreprise comme Meta, bouclant ainsi son travail sur la modération de contenu, Levenson a reconnu à quel point Moonbounce s'intégrerait bien dans l'écosystème de son ancien employeur, ainsi que ses propres devoirs fiduciaires en tant que PDG.

« Mes investisseurs me tueraient pour avoir dit cela, mais je détesterais voir quelqu'un nous acheter et ensuite restreindre la technologie », a-t-il déclaré. « Comme, 'D'accord, c'est à nous maintenant, et personne d'autre ne peut en bénéficier.' »