GM révolutionne l'IA de conduite autonome à grande vitesse

Une approche de l'autonomie évolutive

La conduite autonome est l'un des défis les plus complexes pour l'intelligence artificielle. Un système automatisé doit interpréter un monde chaotique et en constante évolution en temps réel. Cela implique de naviguer dans l'incertitude, de prédire le comportement humain et d'opérer en toute sécurité dans une variété d'environnements et de cas limites.

Chez General Motors, l'approche repose sur un principe simple : bien que la plupart des moments sur la route soient prévisibles, ce sont les événements rares, ambigus et inattendus — la longue traîne — qui déterminent si un système autonome est sûr, fiable et prêt pour un déploiement à grande échelle.

Tester les scénarios à long terme

Les scénarios de conduite autonome à long terme se présentent sous différentes formes. Certains sont notables pour leur rareté. Par exemple, un matelas sur la route, une hydrante qui éclate, ou encore une panne de courant massive à San Francisco qui a désactivé les feux de circulation, obligeant les véhicules sans conducteur à naviguer dans des défis jamais rencontrés auparavant. Ces interactions rares au niveau du système, en particulier dans des environnements urbains denses, montrent comment des cas limites inattendus peuvent se propager à grande échelle.

Former l'IA à une vitesse inédite

Pour accélérer le développement de l'IA de conduite autonome, GM a mis en place un système permettant de former l'IA à 50 000 fois la vitesse réelle. Cette méthode révolutionnaire permet de simuler des scénarios de conduite complexes en un temps record, offrant ainsi une capacité d'apprentissage sans précédent.

Déploiement des modèles de langage visuel

Pour aborder ces scénarios nuancés, GM développe des modèles de Vision Language Action (VLA). En partant d'un modèle de langage visuel standard, qui exploite des connaissances à l'échelle d'Internet pour interpréter des images, les ingénieurs de GM utilisent des têtes de décodage spécialisées pour affiner des tâches spécifiques liées à la conduite. Ces modèles permettent à un véhicule de reconnaître qu'un geste de la main d'un policier prévaut sur un feu rouge ou d'identifier à quoi ressemble une "zone de chargement" dans un terminal d'aéroport fréquenté.

Tester des scénarios dangereux dans des simulations de haute fidélité

La conduite nécessite des temps de réaction en une fraction de seconde, donc toute latence excessive pose un problème critique. Pour résoudre cela, GM développe un VLA à double fréquence. Ce modèle à grande échelle fonctionne à une fréquence plus basse pour prendre des décisions sémantiques de haut niveau, tandis qu'un modèle plus petit et très efficace gère le contrôle spatial immédiat. Cette approche hybride permet au véhicule de bénéficier d'un raisonnement sémantique profond sans sacrifier les temps de réaction nécessaires pour une conduite sécurisée.

Données synthétiques pour les cas les plus difficiles

Les scénarios simulés proviennent de diverses technologies d'IA utilisées par les ingénieurs de GM pour produire des données d'entraînement novatrices. Par exemple, la recherche "Seed-to-Seed Translation" de GM exploite des modèles de diffusion pour transformer des données réelles existantes, permettant de modifier des enregistrements clairs en des scènes pluvieuses ou brumeuses tout en préservant la géométrie de la scène.

De la politique abstraite à la conduite dans le monde réel

Pour amener cette expertise conceptuelle dans le monde réel, GM est l'un des premiers à utiliser une technique appelée On Policy Distillation. Les ingénieurs exécutent leur simulateur en modes simultanés : l'abstrait, à grande vitesse, et le mode capteur de haute fidélité. Ici, le modèle d'apprentissage par renforcement, qui a pratiqué d'innombrables kilomètres abstraits pour développer une "politique" parfaite, agit en tant qu'enseignant. Ce transfert de savoir est incroyablement efficace ; seulement 30 minutes de distillation peuvent capturer l'équivalent de 12 heures d'apprentissage par renforcement brut.

Concevoir des échecs avant qu'ils ne se produisent

La simulation ne vise pas seulement à former le modèle à bien conduire, mais aussi à le faire échouer. Pour tester rigoureusement le système, GM utilise un pipeline différentiable appelé SHIFT3D. Ce pipeline modifie activement le monde pour créer des objets "adversariaux" conçus pour tromper le système de perception.

Conclusion

Cette approche rigoureuse et multifacette — de la stratégie "Boxworld" aux tests de stress adversariaux — constitue le cadre proposé par General Motors pour résoudre le dernier 1 % de l'autonomie. Bien qu'elle serve de fondation pour le développement futur, elle soulève également de nouveaux défis de recherche que les ingénieurs doivent relever.