L'ancien responsable de la conduite autonome d'Uber met en garde contre un risque majeur de l'IA
Raffi Krikorian a dirigé le projet de voiture autonome d'Uber de 2015 à 2017. L'ancien responsable de la conduite autonome d'Uber, Raffi Krikorian, a un avertissement concernant l'IA. Il a écrit dans The Atlantic que sa Tesla a été "totalement détruite" après qu'il l'ait accidentée en mode Full Self-Driving l'année dernière.
Krikorian a déclaré qu'il connaissait les risques de céder le contrôle à l'IA, mais que la technologie était si performante qu'il était difficile de ne pas lui faire confiance. L'ancien responsable du programme de conduite autonome d'Uber a affirmé qu'un accident de Tesla lui avait enseigné une leçon sur le danger de "trop faire confiance" à l'IA. Dans un essai publié mardi dans The Atlantic, Raffi Krikorian a écrit que sa Tesla Model X avait été "totalement détruite" après qu'elle ait percuté un mur alors qu'il était au volant en mode Full Self-Driving l'année dernière.
"Quelque chose semblait anormal—le volant a fait un mouvement brusque d'un côté, puis de l'autre, et la voiture a décéléré d'une manière que je ne m'attendais pas. J'ai tourné le volant pour reprendre le contrôle," a écrit Krikorian, qui est maintenant le CTO de Mozilla. "Je ne sais pas exactement ce que le système faisait, ni pourquoi. Je sais seulement qu'à un moment donné, nous avons fini par entrer en collision avec un mur," a-t-il ajouté.
Krikorian a déclaré qu'il avait subi une commotion cérébrale, mais qu'aucune autre personne n'avait été blessée dans l'accident, qui s'est produit alors qu'il se rendait à une réunion des Boy Scouts à San Francisco. Tesla n'a pas répondu à une demande de commentaire.
Mais l'exécutif technologique, qui a dirigé la division de conduite autonome d'Uber de 2015 à 2017 et supervisé les tests d'une flotte de véhicules autonomes, a déclaré que l'incident lui avait enseigné une leçon troublante sur la technologie de conduite assistée par IA : il est facile de se déconnecter lorsque les systèmes sont si proches de la perfection.
"On m'a demandé de passer de passager à pilote en une fraction de seconde—de surmonter des mois de conditionnement en un clin d'œil," a-t-il écrit.
Les systèmes modernes d'assistance à la conduite, comme le Full Self-Driving de Tesla, peuvent gérer presque toutes les situations de conduite. Cependant, ces systèmes d'IA ne sont pas infaillibles. Tesla et d'autres fabricants exigent des conducteurs qu'ils supervisent le véhicule et soient prêts à reprendre le contrôle à tout moment si quelque chose ne va pas.
"Une machine qui fonctionne parfaitement n'a besoin d'aucune supervision. Mais une machine qui fonctionne presque parfaitement ? C'est là que réside le danger," a écrit Krikorian.
FSD a une histoire d'incidents
Les incidents où le FSD commet des erreurs sont bien documentés. Tesla fait face à des enquêtes réglementaires concernant des rapports selon lesquels des véhicules équipés du logiciel ont roulé du mauvais côté de la route, grillé des feux rouges et tenté de traverser des passages à niveau.
L'entreprise a été confrontée à plusieurs poursuites judiciaires suite à des accidents mortels impliquant le FSD et son prédécesseur Autopilot, et l'année dernière, elle a été condamnée à verser un peu plus de 242 millions de dollars en dommages et intérêts suite à un accident en 2019 qui a coûté la vie à une femme de 22 ans.
Le constructeur automobile d'Elon Musk a également été scruté pour sa commercialisation du FSD et de l'Autopilot, un juge californien ayant statué en décembre dernier que la publicité de Tesla suggérait faussement que les voitures équipées de cette technologie pouvaient conduire toutes seules.
Tesla n'est pas le seul fabricant à avoir des problèmes avec son système d'assistance à la conduite. Ford fait face à une enquête réglementaire concernant deux accidents mortels en 2024 impliquant la technologie BlueCruise du constructeur de Detroit, des documents publiés par le National Transportation Safety Board (NTSB) plus tôt ce mois-ci suggérant que les deux conducteurs étaient distraits avant les accidents.
Uber a également rencontré des défis liés à la technologie de conduite assistée en 2018. Un an après le départ de Krikorian, un véhicule d'essai d'Uber conduisant de manière autonome avec un opérateur de sécurité a heurté et tué un piéton en Arizona. Une enquête du NTSB a révélé que l'opérateur de sécurité n'avait pas surveillé l'environnement et était distrait par son téléphone portable, critiquant la "culture de sécurité inadéquate" d'Uber. Uber a abandonné sa tentative de construire des voitures autonomes en interne en 2020.