Amazon face aux défaillances de l'IA : un équilibre précaire

L'impact des agents d'IA sur les entreprises

Les récentes perturbations chez Amazon, causées par un outil d'intelligence artificielle, illustrent les défis auxquels les entreprises font face en intégrant ces technologies. Une panne notable a entraîné la perte de près de 120 000 commandes, mettant en évidence les risques associés à une adoption précipitée de l'IA. Cette situation n'est pas isolée, d'autres entreprises ayant également rencontré des problèmes similaires avec des agents d'IA ou du code généré par IA.

Pour atténuer ces risques, les organisations mettent en place des garde-fous et procèdent à des audits. Cependant, l'éthique de la Silicon Valley, qui prône l'innovation rapide, peut parfois conduire à des conséquences inattendues. Matt Rosenbaum, chercheur principal au Conference Board, souligne l'importance de connaître sa tolérance au risque et de savoir comment réagir en cas de problème.

Les défis de la vérification du code généré par l'IA

Selon Todd Olson, PDG de Pendo, l'évolution des pratiques de développement logiciel, où les développeurs passent plus de temps à examiner le code généré par l'IA qu'à en écrire, pose de nouveaux défis. Cette transition nécessite des compétences différentes et peut conduire à des erreurs si les résultats de l'IA ne sont pas vérifiés avec soin.

Une étude menée par KPMG et l'Université de Melbourne révèle que deux tiers des travailleurs acceptent les résultats de l'IA sans vérification approfondie, et 72 % admettent réduire leurs efforts grâce à l'IA. Ces comportements augmentent le risque d'erreurs, comme l'a noté Lauren Buitta de Girl Security, qui met en garde contre les dangers d'une vitesse sans discipline analytique.

Les leçons tirées des erreurs d'IA

Malgré les incidents, les erreurs peuvent offrir des opportunités d'apprentissage. Todd Olson estime que la panne d'Amazon a probablement permis à l'entreprise d'identifier de nouveaux cas de test pour améliorer ses systèmes. Andrew Filev, PDG de Zencoder, soutient que ces incidents, bien que mineurs, sont bénéfiques s'ils sont traités en interne.

Il est crucial de rappeler aux employés l'importance de signaler les erreurs générées par l'IA pour éviter des incidents majeurs. Filev recommande une approche combinant audits humains et IA pour atteindre une autonomie fiable, garantissant que l'examen de l'IA soit aussi rigoureux que celui effectué par des humains.

L'équilibre entre innovation et sécurité

Les incidents récents impliquant des agents d'IA mettent en lumière l'équilibre délicat auquel les employeurs doivent faire face. Une erreur liée à un outil d'IA a été un facteur principal d'une panne chez Amazon, soulignant les risques liés à l'adoption rapide de la technologie. Le géant technologique n'est pas le seul à rencontrer des problèmes avec des agents d'IA ou du code généré par IA.

Les organisations mettent en place des garde-fous et réalisent des audits pour équilibrer l'expérimentation de l'IA et les risques. À l'ère de l'IA, l'éthique de la Silicon Valley consistant à "agir vite et à casser des choses" se révèle littéralement vraie.

Plus tôt cette semaine, Business Insider a rapporté qu'Amazon avait établi de nouveaux garde-fous après une série de pannes, dont une principalement causée par son outil de codage IA, entraînant près de 120 000 commandes perdues. Des erreurs similaires ont affecté d'autres entreprises lors de leur adoption de l'IA. En janvier, un fondateur d'une société d'événements a déclaré qu'un agent IA avait commis quatre erreurs en une seule semaine, y compris la distribution de billets gratuits. L'été dernier, le PDG d'une plateforme de codage basée sur un navigateur a présenté des excuses après qu'un agent IA ait effacé la base de code d'un client et ait menti à ce sujet.

Ces incidents soulignent un équilibre délicat pour les employeurs désireux de tirer parti de l'IA. Si l'on impose trop de restrictions aux travailleurs, l'expérimentation en souffre. En revanche, si l'on relâche trop les rênes, les risques liés à des agents IA errants ou à du code mal évalué peuvent rapidement se multiplier.

"Vous devez connaître votre propre tolérance au risque," a déclaré Matt Rosenbaum, chercheur principal au Conference Board, un fournisseur de données et d'informations pour les dirigeants d'entreprise. "Vous devez également savoir quoi faire si les choses tournent mal et ce qu'il faut changer pour que cela ne se reproduise pas."

Vitesse et puissance, sans contrôle

Une partie du défi réside dans le fait que les développeurs de logiciels ne sont plus censés écrire autant de code qu'auparavant, a déclaré Todd Olson, PDG et cofondateur de Pendo, une startup d'IA qui aide les entreprises à améliorer leur expérience utilisateur. Désormais, une grande partie du travail des développeurs consiste à examiner le code écrit par l'IA, a-t-il précisé.

"Ce sont des compétences et des habitudes très différentes," a déclaré Olson à Business Insider. Un autre problème : comme l'IA peut générer du code en quelques secondes, les travailleurs pressés de respecter des délais peuvent être tentés d'accepter la production telle quelle, augmentant le risque que des erreurs passent inaperçues.

Environ deux tiers des travailleurs ont accepté des résultats générés par l'IA sans les vérifier soigneusement, et 72 % ont fourni moins d'efforts dans leurs tâches en raison de l'IA, selon une étude mondiale menée par KPMG et l'Université de Melbourne. Les résultats sont basés sur une enquête auprès de plus de 30 000 travailleurs entre novembre 2024 et janvier 2025.

"La leçon que les entreprises apprennent est que la vitesse sans discipline analytique à grande échelle peut créer une exposition systémique," a déclaré Lauren Buitta, fondatrice et PDG de Girl Security, une organisation à but non lucratif qui prépare les jeunes femmes à des carrières dans la sécurité nationale.

L'incertitude entourant les capacités en rapide expansion de l'IA ajoute une couche de complexité supplémentaire. À mesure que les outils deviennent plus puissants et accessibles, les employés peuvent tester leurs limites sans comprendre pleinement les conséquences en aval.

"Ce n'est pas parce que vous pouvez faire quelque chose que vous devriez le faire," a déclaré Kevin Serwatka, fondateur de la plateforme d'intelligence de recrutement Benchmarket, qui a précédemment occupé des postes de direction en recrutement dans des entreprises telles que Google, Meta et Robinhood. Une leçon à tirer de ces erreurs, a-t-il dit, n'est pas de décourager l'expérimentation, "mais de mettre en place des garde-fous autour de ce à quoi cela ressemble dans votre entreprise."

Un aspect positif

Olson a déclaré que la panne d'Amazon avait également probablement servi de leçon pour l'entreprise, bien que douloureuse. "Ils ont probablement trouvé un tas de cas de test sur lesquels ils peuvent former l'IA, afin que l'IA puisse examiner ces éléments à l'avenir," a-t-il dit.

D'autres entreprises utilisant l'IA pour écrire du code sont également susceptibles de commettre des erreurs, et cela fait partie intégrante de l'expérimentation, a déclaré Andrew Filev, fondateur et PDG de la société d'agents de codage Zencoder. "De petits incidents sont en réalité bénéfiques," a-t-il dit, bien qu'idéalement, ils soient identifiés et traités en interne plutôt que d'être exposés aux clients. "Les gens apprendront et amélioreront leurs garde-fous et leurs systèmes."

Rappeler aux travailleurs l'importance de signaler toute erreur générée par l'IA est crucial, a déclaré Filev, car si un problème est ignoré, cela pourrait conduire à un "incident où le rayon d'explosion est beaucoup plus grand."

Filev a déclaré qu'atteindre l'autonomie de l'IA nécessite de commencer par une combinaison d'audits d'IA et humains. "Vous voulez que les deux processus fonctionnent en parallèle pendant un certain temps," a-t-il dit, jusqu'à ce que "l'examen de l'IA soit au moins aussi bon que l'examen humain."