DLSS 5 looks like a real-time generative AI filter for video games

DLSS 5 : un filtre d'IA générative en temps réel pour les jeux vidéo

Nvidia a annoncé DLSS 5 lundi lors de sa conférence GTC, et d'après les premières réactions, cette mise à jour risque de diviser, certains la qualifiant de « désordre » qui altère inacceptable l'intention artistique. Le PDG de Nvidia, Jensen Huang, décrit ce moment comme le « moment GPT pour les graphismes — alliant rendu artisanal et IA générative pour offrir un bond spectaculaire en réalisme visuel tout en préservant le contrôle nécessaire aux artistes pour leur expression créative. »

Dans les jeux qui prennent en charge DLSS 5, les outils peuvent immédiatement fournir des améliorations notables en matière d'éclairage et d'ombres. Contrairement aux versions précédentes de mise à l'échelle qui utilisaient l'apprentissage automatique pour réduire l'écart entre les paramètres graphiques élevés et bas, cette version applique l'IA générative pour retravailler l'éclairage et les matériaux avec des détails qui semblent nouvellement ajoutés. Les exemples présentés par Nvidia aujourd'hui, issus de Resident Evil Requiem, Starfield, Hogwarts Legacy et EA Sports FC, semblent plus réalistes, mais les versions DLSS 5 présentent des changements qui rappellent les mises à jour de « désordre IA » que nous avons vues appliquées à la photographie, à la vidéo et à d'autres créations.

Selon Nvidia, « Le modèle d'IA est entraîné de bout en bout pour comprendre les sémantiques complexes des scènes, telles que les personnages, les cheveux, les tissus et la peau translucide, ainsi que les conditions d'éclairage environnemental comme éclairage frontal, éclairage arrière ou temps nuageux — tout cela en analysant une seule image. DLSS 5 utilise ensuite sa compréhension approfondie pour générer des images visuellement précises qui gèrent des éléments complexes tels que la diffusion sous-surface sur la peau, le brillant délicat des tissus et les interactions lumière-matériau sur les cheveux, tout en conservant la structure et les sémantiques de la scène originale. »

L'impact le plus notable est que DLSS 5 semble apporter des changements significatifs à l'apparence des modèles de personnages. Dans le cas de Requiem, l'IA générative appliquée aux actifs originaux fait que la protagoniste Grace Ashcroft semble totalement différente, comme si elle avait utilisé un filtre Instagram qui a rendu ses lèvres plus pulpeuses et appliqué un fard à paupières intense.

Son application dans Starfield produit des résultats tout aussi troublants, comme si la netteté était poussée à son maximum, avec des reflets lumineux qui rendent les traits et les cheveux des personnages semblant éclairés comme sur scène, malgré un environnement qui ne possède pas ce type d'éclairage. Nvidia cite Todd Howard, responsable de Bethesda Game Studios, affirmant que « Lorsque NVIDIA nous a montré DLSS 5 et que nous l'avons fait fonctionner dans Starfield, c'était incroyable de voir à quel point cela a donné vie au jeu. Nous y avons joué. Nous avons hâte que vous puissiez tous en faire de même. »

DLSS 5 peut fonctionner en temps réel jusqu'à une résolution de 4K, et bien qu'il satisfera certainement certains joueurs et développeurs en attente de photoréalisme dans plus de titres, l'effet ne conviendra pas à tout le monde. Le développeur de jeux Mike Bithell a écrit : « Pour quand vous ne voulez absolument, mais alors absolument, aucune direction artistique dans votre expérience de jeu. Décevant de voir quelqu'un prendre ce non-sens au sérieux. Quel désordre. »

Cependant, Nvidia affirme qu'elle fournit aux développeurs de jeux des contrôles leur permettant de décider comment DLSS 5 impacte l'apparence d'un jeu, il est donc possible qu'au moment de sa sortie, les effets en jeu soient différents de ce que nous voyons ici.

Nvidia précise que DLSS 5 respecte l'intention artistique de deux manières :

• En intégrant les vecteurs de couleur et de mouvement du jeu pour chaque image dans le modèle, ancrant la sortie dans le contenu 3D source.

• En fournissant aux développeurs des contrôles détaillés tels que l'intensité et l'étalonnage des couleurs. Les artistes peuvent utiliser ces contrôles pour ajuster le mélange, le contraste, la saturation et le gamma, et déterminer où et comment les améliorations sont appliquées pour maintenir l'esthétique unique du jeu. Les développeurs peuvent également masquer des objets ou des zones spécifiques pour les exclure de l'amélioration.

DLSS 5 sera disponible cet automne, et jusqu'à présent, il est uniquement confirmé comme compatible avec un nombre limité de jeux, qui, en plus de ceux mentionnés précédemment, incluent de grands titres comme le remake de The Elder Scrolls VI : Oblivion et Assassin's Creed Shadows.