NVIDIA анонсировала платформу для создания интерактивных ИИ-аватаров

В последние месяцы NVIDIA неуклонно продвигает свою технологию искусственного интеллекта, а теперь ясно, как все элементы сочетаются друг с другом. Компания анонсировала Omniverse Avatar — технологическую платформу для создания интерактивных ИИ-аватаров. Omniverse Avatar объединяет технологии компании в области голосового ИИ, компьютерного зрения, понимания естественного языка, механизмов рекомендаций и технологий моделирования. 

Аватары, созданные на платформе, представляют собой интерактивных персонажей с трехмерной графикой с трассировкой лучей, которые могут видеть, говорить, вести диалоги о широком круге вопросов и понимать естественные устные намерения. Платформа открывает двери для создания помощников с искусственным интеллектом, которые легко настраиваются практически для любой отрасли. 

Это может помочь с миллиардами ежедневных взаимодействий с клиентами — заказами в ресторане, банковскими операциями, назначением личных встреч и бронированием — что приведет к расширению возможностей для бизнеса и повышению удовлетворенности клиентов.

«Настала эра интеллектуальных виртуальных помощников. Omniverse Avatar сочетает в себе основную графику NVIDIA, технологии моделирования и искусственного интеллекта, чтобы создавать одни из самых сложных приложений реального времени, которые когда-либо существовали. Сценарии использования совместных роботов и виртуальных помощников невероятны и идут далеко вперед»

Дженсен Хуангоснователь и генеральный директор NVIDIA

Omniverse Avatar является частью NVIDIA Omniverse — платформы моделирования и совместной работы виртуального мира для рабочих процессов 3D, которая в настоящее время находится на стадии открытого бета-тестирования и обслуживает более 70 000 пользователей. В своем выступлении на NVIDIA GTC Хуанг поделился различными примерами Omniverse Avatar: Project Tokkio для поддержки клиентов, NVIDIA DRIVE Concierge для постоянно включенных интеллектуальных услуг в транспортных средствах и Project Maxine для видеоконференций. 

На первой демонстрации Project Tokkio Хуанг показал своих коллег, участвующих в разговоре в реальном времени с аватаром, созданным в виде игрушечной копии его самого. Они беседовали на такие темы, как биология и наука о климате.

Во второй демонстрации Project Tokkio он показал аватар службы поддержки клиентов в киоске ресторана, который был способен видеть, разговаривать и понимать двух людей, когда они заказывали вегетарианские гамбургеры, картофель фри и напитки. Демонстрации проводились на базе программного обеспечения NVIDIA AI и Megatron 530B, который в настоящее время является крупнейшей в мире настраиваемой языковой моделью.

В демонстрации платформы DRIVE Concierge AI цифровой помощник на экране центральной приборной панели помогает водителю выбрать лучший режим вождения, чтобы вовремя добраться до пункта назначения, а затем следует его запросу, чтобы установить напоминание, когда запас хода автомобиля упадет ниже 161 км.

Отдельно Хуанг продемонстрировал способность Project Maxine добавлять современные видео- и аудиофункции в приложения для виртуального сотрудничества и создания контента. Компания создала аватар из фотографии женщины и использовала Riva для тренировки, преобразования текста в речь и перевода на разные языки. Цифровой дублер выглядит и звучит очень похоже на настоящего человека и даже может повернуть голову, сохраняя при этом естественный зрительный контакт. 

Omniverse Avatar использует элементы голосового ИИ, компьютерного зрения, понимания естественного языка, механизмов рекомендаций, лицевой анимации и графики, предоставляемые с помощью следующих технологий:

1. Распознавание речи основано на NVIDIA Riva — пакете разработки программного обеспечения, который распознает речь на нескольких языках. Riva также используется для генерации человеческих речевых ответов с использованием возможностей преобразования текста в речь.
2. Понимание естественного языка основано на большой языковой модели Megatron 530B, которая может распознавать, понимать и генерировать человеческий язык. Megatron 530B — это предварительно обученная модель, которая может с небольшим обучением или без него составлять полные предложения, отвечать на вопросы большой предметной области, резюмировать длинные сложные истории, переводить на другие языки и обрабатывать многие области, для которых она специально не обучена.
3. Механизм рекомендаций предоставляется NVIDIA Merlin — фреймворком, который позволяет предприятиям создавать рекомендательные системы глубокого обучения, способные обрабатывать большие объемы данных, чтобы делать более разумные предложения.
4. Возможности восприятия поддерживаются NVIDIA Metropolis — фреймворком компьютерного зрения для видеоаналитики.
5. Анимация аватара основана на технологиях NVIDIA Video2Face и Audio2Face, 2D и 3D лицевой анимации и рендеринга на основе искусственного интеллекта.

Эти технологии объединяются в приложение и обрабатываются в реальном времени с помощью NVIDIA Unified Compute Framework. Упакованные в виде масштабируемых настраиваемых микросервисов навыки могут быть безопасно развернуты, управляемы и организованы в нескольких местах с помощью NVIDIA Fleet Command.

Большая часть средств разработки Maxine уже доступна. Riva доступна в открытой бета-версии и будет бесплатной для «мелкомасштабной» работы. Более крупное развертывание будет зависеть от запуска программы Riva Enterprise в начале 2022 года. Однако Omniverse Avatar придется ждать дольше. В то время как базовая платформа Omniverse сейчас находится на стадии открытого бета-тестирования, Avatar находится «в разработке», а дата запуска не указана.