Audio2Face de NVIDIA exploite la puissance de l’IA pour révolutionner la synchronisation labiale et l’animation faciale, comme le démontrent deux démonstrations de jeux.
L’infiltration de l’IA générative dans les jeux prend de plus en plus d’ampleur et Audio2Face de NVIDIA, basé sur la technologie de l’IA, change la donne dans les domaines de l’animation faciale et de la localisation.
La localisation est d’une importance capitale dans les jeux, car elle permet d’étendre la portée d’un jeu à un public mondial en restituant les dialogues et les présentations dans différentes langues. À l’instar de l’approche globale adoptée par Netflix pour le doublage de son contenu original, la localisation des jeux est une entreprise aux multiples facettes qui exige une traduction méticuleuse des dialogues et des textes, tout en préservant les nuances dramatiques ou comiques. Ce processus complexe implique en outre le réenregistrement des dialogues par des acteurs vocaux issus de milieux culturels différents, ce qui améliore l’expérience immersive des joueurs du monde entier.
Les jeux vidéo se distinguent des médias traditionnels tels que les films ou les séries télévisées par une caractéristique distinctive : toutes les représentations sont entièrement numériques et intrinsèquement adaptables. Cette caractéristique unique est évidente dans Ghost of Tsushima, exclusivité PlayStation de Sony, qui débutera bientôt sur PC, et qui offre aux joueurs la possibilité de choisir entre l’anglais et le japonais, avec une synchronisation labiale méticuleuse et des animations faciales synchronisées avec précision.
Malgré la possibilité d’étendre ce niveau de détail à de nombreuses langues, Ghost of Tsushima limite stratégiquement la synchronisation labiale à seulement deux langues, reconnaissant ainsi la nature complexe de la tâche et les difficultés liées à l’animation. L’IA générative, et plus particulièrement la technologie de pointe Audio2Face de NVIDIA, est sur le point de révolutionner cet aspect.
Prenons l’exemple d’un jeu de rôle ou d’un titre en ligne de grande envergure où les exigences en matière de synchronisation labiale sont plus simples, ce qui permet d’incorporer de nouveaux dialogues ou des dialogues alternatifs de manière transparente. Audio2Face de NVIDIA apparaît comme une formidable solution d’IA générative, capable de générer une synchronisation labiale et des animations faciales réalistes basées sur l’entrée audio et les attributs du personnage. Les développeurs ont déjà adopté ses capacités pour améliorer les expériences de jeu.
L’animation faciale est un moyen essentiel de transmettre les émotions d’un personnage, ce qui rend cet outil indispensable car il synchronise de manière transparente les mots avec les expressions émotionnelles, présentant ainsi une performance faciale totalement immersive et animée de manière dynamique.
La première démonstration de cette technologie se déroule dans World of Jade Dynasty, un MMO d’arts martiaux passionnant développé par le studio chinois réputé Perfect World Games. En s’appuyant sur NVIDIA Audio2Face, le studio atteint une précision dans la synchronisation labiale et l’animation en chinois et en anglais. En tant que titre en ligne, l’intégration de NVIDIA Audio2Face permet aux développeurs d’introduire en toute transparence de nouveaux contenus vocaux tout en conservant le même niveau de réalisme dans l’animation.
Le prochain jeu d’action-aventure, Unawake, basé sur Unreal Engine 5 et conçu par RealityArts Studio en collaboration avec Toplitz Productions, est un autre exemple du potentiel de transformation de cette technologie. Prévu pour la fin de l’année avec la prise en charge de DLSS 3, Unawake offre une démonstration dynamique de NVIDIA Audio2Face en action. La vidéo qui l’accompagne donne un aperçu captivant des capacités de la technologie, en présentant une série de curseurs qui permettent un contrôle précis d’un large spectre d’émotions.
conclusion, NVIDIA’s Audio2Face
En conclusion, NVIDIA’s Audio2Face marque une véritable révolution dans le domaine de la synchronisation labiale et de l’animation faciale grâce à l’intégration de l’IA générative. Son utilisation dans des jeux tels que World of Jade Dynasty et Unawake démontre son potentiel à transformer radicalement l’expérience de jeu en offrant des animations plus réalistes et une localisation plus immersive. Cette technologie représente une avancée majeure dans l’industrie du jeu vidéo, ouvrant la voie à de nouvelles possibilités créatives et à des expériences encore plus captivantes pour les joueurs du monde entier.