NVIDIA annonce une plateforme pour créer des avatars IA interactifs

Ces derniers mois, NVIDIA poursuit sans relâche le développement de sa technologie d'intelligence artificielle, et l'on voit désormais clairement comment tous ces éléments s'imbriquent. La société a annoncé Omniverse Avatar, une plateforme technologique permettant de créer des avatars IA interactifs. Omniverse Avatar réunit les technologies de l'entreprise dans les domaines de l'IA vocale, de la vision par ordinateur, de la compréhension du langage naturel, des systèmes de recommandation et de la modélisation. 

Les avatars créés sur cette plateforme sont des personnages interactifs en 3D avec lancer de rayons, capables de voir, de parler, de dialoguer sur un large éventail de sujets et de comprendre les intentions exprimées oralement. La plateforme ouvre la voie à des assistants IA faciles à adapter à presque tous les secteurs. 

Cela peut aider à gérer des milliards d'interactions quotidiennes avec les clients — commandes au restaurant, opérations bancaires, prise de rendez-vous personnels et réservations — ce qui permet aux entreprises d'élargir leurs capacités et d'améliorer la satisfaction client.

« L'ère des assistants virtuels intelligents est arrivée. Omniverse Avatar combine le graphisme de base de NVIDIA, les technologies de modélisation et l'intelligence artificielle pour créer certaines des applications temps réel les plus complexes jamais conçues. Les scénarios d'utilisation des robots collaboratifs et des assistants virtuels sont incroyables et vont très loin »

Jensen Huangfondateur et directeur général de NVIDIA

Omniverse Avatar fait partie de NVIDIA Omniverse, une plateforme de modélisation et de collaboration en monde virtuel pour les flux de travail 3D, actuellement en bêta publique ouverte et utilisée par plus de 70 000 personnes. Lors de son intervention à NVIDIA GTC, Jensen Huang a présenté plusieurs exemples d'Omniverse Avatar : Project Tokkio pour l'assistance client, NVIDIA DRIVE Concierge pour des services intelligents toujours actifs dans les véhicules, et Project Maxine pour les visioconférences. 

Lors de la première démonstration de Project Tokkio, Jensen Huang a présenté ses collègues en train de converser en temps réel avec un avatar qui était une copie miniature de lui-même. Ils ont discuté de sujets comme la biologie et la science du climat.

Lors de la seconde démonstration de Project Tokkio, il a montré un avatar de service client dans le kiosque d'un restaurant, capable de voir, de parler et de comprendre deux personnes qui commandaient des hamburgers végétariens, des frites et des boissons. Les démonstrations reposaient sur les logiciels NVIDIA AI et sur Megatron 530B, qui est actuellement le plus grand modèle de langage personnalisable au monde.

Dans la démonstration de la plateforme DRIVE Concierge AI, un assistant numérique affiché sur l'écran central du tableau de bord aide le conducteur à choisir le mode de conduite optimal pour arriver à temps à destination, puis répond à sa demande de rappel lorsque l'autonomie du véhicule descend en dessous de 161 km.

Jensen Huang a par ailleurs montré la capacité de Project Maxine à ajouter des fonctions vidéo et audio modernes aux applications de collaboration virtuelle et de création de contenu. L'entreprise a créé un avatar à partir d'une photo d'une femme et a utilisé Riva pour l'entraînement, la synthèse vocale et la traduction vers différentes langues. Le doublon numérique ressemble et sonne très précisément comme un être humain réel et peut même tourner la tête tout en conservant un contact visuel naturel. 

Omniverse Avatar utilise des éléments d'IA vocale, de vision par ordinateur, de compréhension du langage naturel, de systèmes de recommandation, d'animation faciale et de graphisme, fournis grâce aux technologies suivantes :

1. La reconnaissance vocale repose sur NVIDIA Riva, un kit de développement logiciel qui reconnaît la parole en plusieurs langues. Riva sert également à générer des réponses vocales humaines grâce aux capacités de synthèse vocale.
2. La compréhension du langage naturel repose sur le grand modèle de langage Megatron 530B, capable de reconnaître, de comprendre et de générer la langue humaine. Megatron 530B est un modèle pré-entraîné qui peut, avec peu d'entraînement ou sans entraînement spécifique, rédiger des phrases complètes, répondre à des questions couvrant un vaste domaine, résumer de longs récits complexes, traduire dans d'autres langues et traiter de nombreux domaines pour lesquels il n'a pas été spécifiquement entraîné.
3. Le système de recommandation est fourni par NVIDIA Merlin, un framework qui permet aux entreprises de créer des systèmes de recommandation par apprentissage profond, capables de traiter de grands volumes de données pour faire des suggestions plus pertinentes.
4. Les capacités de perception sont assurées par NVIDIA Metropolis, un framework de vision par ordinateur dédié à l'analyse vidéo.
5. L'animation de l'avatar repose sur les technologies NVIDIA Video2Face et Audio2Face, sur l'animation faciale 2D et 3D et sur le rendu assisté par intelligence artificielle.

Ces technologies sont combinées dans une application et traitées en temps réel grâce à NVIDIA Unified Compute Framework. Les compétences, conditionnées sous forme de microservices évolutifs et personnalisables, peuvent être déployées, gérées et organisées en toute sécurité à plusieurs emplacements grâce à NVIDIA Fleet Command.

La plupart des outils de développement Maxine sont déjà disponibles. Riva est disponible en bêta ouverte et sera gratuite pour un usage « à petite échelle ». Les déploiements de plus grande envergure dépendront du lancement du programme Riva Enterprise au début de 2022. En revanche, Omniverse Avatar devra patienter plus longtemps. Si la plateforme de base Omniverse est actuellement en bêta publique ouverte, Avatar est « en développement » et aucune date de lancement n'a été annoncée.