Meta renforce la sécurité des jeunes face aux risques d'automutilation

Meta renforce la sécurité des jeunes face aux risques d'automutilation

Dans un contexte où les géants de la technologie sont de plus en plus scrutés quant à la protection des utilisateurs vulnérables, Meta annonce de nouvelles fonctionnalités pour son chatbot IA. Ces ajouts visent à offrir un soutien accru et à notifier les parents lorsque des signes d'automutilation ou de pensées suicidaires sont détectés chez les jeunes utilisateurs.

Un système de supervision parental élargi

Meta a mis en place un ensemble d'outils de supervision pour les parents, leur permettant de surveiller les comptes Instagram, Facebook et Meta Horizons de leurs enfants. Pour activer ces fonctionnalités, les parents doivent s'inscrire et choisir les comptes qu'ils souhaitent superviser. Les détails de cette procédure sont disponibles sur la page dédiée du centre familial de Meta. Actuellement, ces paramètres sont accessibles aux utilisateurs résidant aux États-Unis, au Canada, au Royaume-Uni et en Australie.

Alertes en cas de discussions à risque

Lorsqu'un adolescent engage une conversation avec le chatbot IA de Meta sur des sujets potentiellement dangereux, une alerte est envoyée au parent superviseur. Cette notification peut être reçue par SMS, e-mail ou directement dans l'application. Bien que le contenu exact des messages échangés ne soit pas divulgué, Meta fournit aux parents des ressources et des conseils pour les aider à gérer la situation.

Partenariat avec des experts en santé mentale

Meta affirme qu'elle partage déjà des informations sur les lignes d'assistance en cas de crise avec les adolescents et les encourage à se tourner vers des adultes de confiance. De plus, les parents sont avertis si leur enfant effectue des recherches fréquentes sur l'automutilation ou le suicide sur Instagram dans un court laps de temps.

Un système d'IA pour détecter les conversations dangereuses

Pour identifier les discussions potentiellement dangereuses, Meta s'appuie sur un système d'IA développé en collaboration avec des experts humains, notamment des panels de bien-être et des cliniciens en santé mentale externes. Au lancement, toutes les alertes seront examinées manuellement, et Meta assure qu'elle agira avec prudence en alertant les parents.

Vers une alerte aux services d'urgence

Meta envisage également d'alerter les services d'urgence en cas de risque crédible de suicide. Bien que cette fonctionnalité ne soit pas encore disponible, elle pourrait s'inspirer du système d'alerte existant sur Facebook et Instagram, qui a déjà permis plus de 19 000 interventions d'urgence pour des vérifications de bien-être.

Contexte et enjeux

La société mère de Facebook et Instagram est consciente des impacts négatifs que la technologie peut avoir sur la santé mentale. Plus tôt cette année, Meta a été jugée coupable par deux jurys d'avoir conçu des plateformes de médias sociaux intentionnellement addictives, facilitant ainsi l'exploitation des enfants.

Ces initiatives surviennent alors que les préoccupations augmentent parmi les observateurs technologiques et les défenseurs de la sécurité. Ces derniers ont critiqué, et parfois poursuivi, les entreprises technologiques et d'IA pour les comportements risqués que les chatbots peuvent encourager, y compris l'automutilation et le suicide.