NVIDIA анонсувала платформу для створення інтерактивних ШІ-аватарів

Останніми місяцями NVIDIA невпинно просуває свою технологію штучного інтелекту, і тепер стало зрозуміло, як усі елементи поєднуються між собою. Компанія анонсувала Omniverse Avatar — технологічну платформу для створення інтерактивних ШІ-аватарів. Omniverse Avatar об'єднує технології компанії у сферах голосового ШІ, комп'ютерного зору, розуміння природної мови, механізмів рекомендацій і технологій моделювання. 

Аватари, створені на платформі, являють собою інтерактивних персонажів із тривимірною графікою з трасуванням променів, які можуть бачити, говорити, вести діалоги на широке коло питань і розуміти природні усні наміри. Платформа відкриває двері для створення помічників зі штучним інтелектом, які легко налаштовуються майже для будь-якої галузі. 

Це може допомогти з мільярдами щоденних взаємодій із клієнтами — замовленнями в ресторані, банківськими операціями, призначенням особистих зустрічей і бронюванням — що призведе до розширення можливостей для бізнесу та підвищення задоволеності клієнтів.

«Настала ера інтелектуальних віртуальних помічників. Omniverse Avatar поєднує основну графіку NVIDIA, технології моделювання та штучного інтелекту, щоб створювати одні з найскладніших застосунків реального часу, які коли-небудь існували. Сценарії використання сумісних роботів і віртуальних помічників неймовірні й йдуть далеко вперед»

Дженсен Хуангзасновник і генеральний директор NVIDIA

Omniverse Avatar є частиною NVIDIA Omniverse — платформи моделювання та спільної роботи віртуального світу для робочих процесів 3D, яка наразі перебуває на стадії відкритого бета-тестування і обслуговує понад 70 000 користувачів. У своєму виступі на NVIDIA GTC Хуанг поділився різними прикладами Omniverse Avatar: Project Tokkio для підтримки клієнтів, NVIDIA DRIVE Concierge для постійно увімкнених інтелектуальних послуг у транспортних засобах і Project Maxine для відеоконференцій. 

На першій демонстрації Project Tokkio Хуанг показав своїх колег, які беруть участь у розмові в реальному часі з аватаром, створеним у вигляді іграшкової копії його самого. Вони розмовляли на такі теми, як біологія та наука про клімат.

Під час другої демонстрації Project Tokkio він показав аватар служби підтримки клієнтів у кіоску ресторану, який міг бачити, розмовляти і розуміти двох людей, коли вони замовляли вегетаріанські гамбургери, картоплю фрі та напої. Демонстрації проводились на базі програмного забезпечення NVIDIA AI та Megatron 530B, який наразі є найбільшою у світі настроюваною мовною моделлю.

У демонстрації платформи DRIVE Concierge AI цифровий помічник на екрані центральної панелі приладів допомагає водію вибрати найкращий режим водіння, щоб вчасно дістатися до пункту призначення, а потім виконує його запит встановити нагадування, коли запас ходу автомобіля впаде нижче 161 км.

Окремо Хуанг продемонстрував здатність Project Maxine додавати сучасні відео- та аудіофункції до застосунків для віртуальної співпраці та створення контенту. Компанія створила аватар із фотографії жінки й використала Riva для навчання, перетворення тексту на мовлення та перекладу різними мовами. Цифровий дублер виглядає і звучить дуже схоже на справжню людину і навіть може повернути голову, зберігаючи природний зоровий контакт. 

Omniverse Avatar використовує елементи голосового ШІ, комп'ютерного зору, розуміння природної мови, механізмів рекомендацій, лицьової анімації та графіки, які надаються за допомогою таких технологій:

1. Розпізнавання мовлення базується на NVIDIA Riva — пакеті розробки програмного забезпечення, який розпізнає мовлення кількома мовами. Riva також використовується для генерації людських мовних відповідей за допомогою можливостей перетворення тексту на мовлення.
2. Розуміння природної мови базується на великій мовній моделі Megatron 530B, яка може розпізнавати, розуміти та генерувати людську мову. Megatron 530B — це попередньо навчена модель, яка може з невеликим навчанням або без нього складати повні речення, відповідати на запитання великої предметної області, узагальнювати довгі складні історії, перекладати іншими мовами та обробляти багато сфер, для яких її спеціально не навчали.
3. Механізм рекомендацій забезпечується NVIDIA Merlin — фреймворком, який дозволяє підприємствам створювати рекомендаційні системи глибокого навчання, здатні обробляти великі обсяги даних, щоб робити розумніші пропозиції.
4. Можливості сприйняття підтримуються NVIDIA Metropolis — фреймворком комп'ютерного зору для відеоаналітики.
5. Анімація аватара базується на технологіях NVIDIA Video2Face та Audio2Face, 2D- і 3D-лицьовій анімації та рендерингу на основі штучного інтелекту.

Ці технології об'єднуються в застосунок і обробляються в реальному часі за допомогою NVIDIA Unified Compute Framework. Упаковані у вигляді масштабованих настроюваних мікросервісів навички можуть безпечно розгортатися, керуватися та організовуватися в кількох місцях за допомогою NVIDIA Fleet Command.

Більшість засобів розробки Maxine вже доступна. Riva доступна у відкритій бета-версії і буде безкоштовною для «маломасштабної» роботи. Масштабніше розгортання залежатиме від запуску програми Riva Enterprise на початку 2022 року. Проте Omniverse Avatar доведеться чекати довше. Тоді як базова платформа Omniverse наразі перебуває на стадії відкритого бета-тестування, Avatar перебуває «в розробці», а дата запуску не вказана.