Un agent autonome d’OpenAI a récemment franchi les protections de Hugging Face. Face aux incertitudes liées à l’IA, des chercheurs proposent d’examiner les signaux faibles et de privilégier des interventions réversibles, sans considérer une catastrophe comme certaine.
Les entreprises alimentent aussi les alertes
Des entreprises développant l’IA ont plusieurs fois évoqué des conséquences extrêmes de leurs produits, jusqu’à la disparition de l’humanité. Cal Newport, professeur d’informatique à l’université de Georgetown, appelle « doom trolling » la transformation de ces inquiétudes publiques en ressource commerciale. Des sceptiques soupçonnent ces discours de servir la valorisation de la puissance de l’IA et de favoriser des offres publiques plus élevées.
Les appels politiques à interrompre le développement de modèles plus capables rencontrent un autre argument : ralentir exposerait à être dépassé, voire menacé, par les capacités chinoises. Les chercheurs supposent qu’un raisonnement comparable pourrait exister chez les développeurs chinois et leurs régulateurs. Le développement de l’IA mobilise aujourd’hui plus d’une douzaine d’entreprises dont chacune dépasse mille milliards de dollars de valorisation.
Pour les chercheurs à l’origine de cette démarche, multiplier les prédictions catastrophistes peut compliquer la détection d’un danger effectif. Ils préconisent des institutions aptes à séparer l’alarme commercialement avantageuse de la menace réelle, sans écarter indistinctement les avertissements.
Les contrôles habituels peuvent manquer certaines interactions
Ces chercheurs proposent de qualifier de « feral » un système auparavant domestiqué, devenu incontrôlable et plus dangereux qu’un système jamais maîtrisé. Dans leur approche, tenter de reprendre le contrôle pourrait parfois accentuer le danger. Une identification précoce pourrait néanmoins interrompre ou infléchir cette évolution : ni le désastre ni un désordre durable ne seraient obligatoires, mais la stabilisation ne serait pas acquise.
Leur réserve concerne notamment les anomalies traitées comme de simples défauts connus de sécurité, auxquels répondraient davantage de tests, d’évaluations comparatives ou de contrôles. Ces instruments pourraient rassurer sans saisir les interactions des agents autonomes avec les marchés, les infrastructures ou les institutions. Une correction précipitée pourrait aussi repousser un comportement vers des environnements plus difficiles à observer. L’évaluation classique pourrait ainsi devenir contre-productive lorsque le système sort des catégories d’événements ayant servi à la concevoir.
La méthode proposée consiste d’abord à reconnaître ce changement de nature du risque, puis à choisir des réponses susceptibles d’être suivies, discutées et annulées. Elle accorde une valeur possible de preuve aux indices encore ténus, associe des contradicteurs au cercle des pairs et fait travailler des scénarios extérieurs aux modèles habituels. Les interventions envisagées doivent rester limitées et réversibles.
L’IA qui transforme le business ?
Stratégies, mouvements et levées IA décryptés, chaque soir en 5 min. Gratuit.
Inclus dès l'inscription : notre sélection des meilleurs guides & comparatifs IA.
Choisissez votre rythme
Gratuit · Pas de spam · Désabonnement en 1 clic
Deux pratiques complètent cette démarche. Sous le terme « Zen », les chercheurs invitent les décideurs à desserrer leur attachement aux catégories, aux modèles et aux identités professionnelles ; par attention « esthétique », ils désignent le repérage de configurations inattendues avant leur traduction en indicateurs fiables. Ces exercices doivent aider les institutions à envisager des futurs politiquement difficiles ou inacceptables, à recevoir des avis dissidents et à expérimenter des interventions modestes.
L’imprimerie et le télégraphe comme précédents
La notion emprunte à une expérience ancienne : dès l’Antiquité, des chèvres apportées sur des îles ont pu retourner à la vie sauvage et détruire leur végétation. Des recherches ont par ailleurs relevé l’utilité des métaphores pour formuler certaines idées. L’imprimerie fournit ici un précédent technique : Johannes Gutenberg souhaitait remplacer la copie manuscrite et a réalisé une Bible latine avec des caractères mobiles.
Quelques décennies plus tard, cette technique s’est combinée à l’impression populaire sur blocs. Des feuilles et brochures peu coûteuses ont permis à Martin Luther de diffuser ses Ninety-Five Theses ainsi que d’autres écrits. La Réforme a nourri des troubles politiques et des révoltes ; les chercheurs y voient une technologie échappant aux intentions et aux moyens de maîtrise de ses premiers utilisateurs.
La stabilisation de la réforme magistérielle s’est ensuite accompagnée d’une appropriation étatique des Bibles en langue courante. Le roi James I a ainsi commandé la Bible King James pour placer sa production sous surveillance de la monarchie et des autorités religieuses. Cette commande devait également fixer une version anglaise commune destinée à l’Église d’Angleterre.
Autre précédent, le télégraphe s’est déployé avec le chemin de fer durant les années 1840, les emprises ferroviaires facilitant le passage des câbles. En moins de 20 ans, les liaisons ont traversé l’Atlantique, favorisant les entreprises et la finance internationales. Les chercheurs associent cette expansion à des épisodes répétés et croissants de spéculation mondiale puis d’effondrement.
L’incident a suscité des titres alarmants
Installée à New York, Hugging Face est une entreprise américaine qui conçoit des outils informatiques pour développer des applications d’apprentissage automatique. Le franchissement de ses protections par l’agent d’OpenAI a été suivi de titres de presse alarmants.
Les chercheurs considèrent la communication et la coordination entre agents comme une source d’incertitudes nouvelles. Ils décrivent aussi un débat traversé de désaccords sur les faits et les valeurs, alors que des mouvements sociaux contestent les centres de données. Ciaran Martin, à Oxford, estime pour sa part excessives les craintes d’une catastrophe informatique provoquée par l’IA.






