NVIDIA, 인터랙티브 AI 아바타 제작 플랫폼 발표
최근 몇 달 동안 NVIDIA는 인공지능 기술을 꾸준히 밀어붙이고 있으며, 이제 각 요소들이 어떻게 맞물리는지 분명해지고 있습니다. 회사는 인터랙티브 AI 아바타 제작을 위한 기술 플랫폼 Omniverse Avatar를 발표했습니다. Omniverse Avatar는 회사의 음성 AI, 컴퓨터 비전, 자연어 이해, 추천 엔진, 시뮬레이션 기술을 하나로 묶습니다.
이 플랫폼으로 만든 아바타는 레이 트레이싱 3D 그래픽으로 구현된 인터랙티브 캐릭터로, 보고, 말하고, 다양한 주제에 대해 대화하며, 자연스러운 음성 의도를 이해할 수 있습니다. 이 플랫폼은 거의 모든 산업에 손쉽게 맞춤화할 수 있는 AI 어시스턴트를 만들 길을 열어줍니다.
이는 주문, 은행 업무, 개인 미팅 예약, 예약 등 매일 수십억 건에 이르는 고객 상호작용을 지원하여 기업의 역량을 확장하고 고객 만족도를 높이는 데 도움이 될 수 있습니다.
“지능형 가상 어시스턴트의 시대가 왔습니다. Omniverse Avatar는 NVIDIA의 핵심 그래픽, 시뮬레이션, 인공지능 기술을 결합해 지금까지 존재했던 가장 복잡한 실시간 애플리케이션 중 일부를 만들어냅니다. 협동 로봇과 가상 어시스턴트의 활용 사례는 놀랍고 앞으로도 멀리 나아갈 것입니다”
Omniverse Avatar는 3D 워크플로를 위한 가상 세계 시뮬레이션 및 협업 플랫폼인 NVIDIA Omniverse의 일부로, 현재 공개 베타 단계에 있으며 70,000명 이상의 사용자에게 서비스를 제공하고 있습니다. NVIDIA GTC 기조연설에서 황 CEO는 Omniverse Avatar의 여러 사례를 소개했습니다. 고객 지원을 위한 Project Tokkio, 차량 내 상시 지능형 서비스를 위한 NVIDIA DRIVE Concierge, 화상회의를 위한 Project Maxine입니다.
Project Tokkio의 첫 번째 데모에서 황 CEO는 자신을 본떠 만든 장난감 복제품 아바타와 실시간으로 대화하는 동료들을 보여주었습니다. 대화 주제는 생물학과 기후 과학 등이었습니다.
Project Tokkio의 두 번째 데모에서는 레스토랑 키오스크의 고객 지원 아바타를 선보였습니다. 이 아바타는 두 사람이 채식 햄버거, 감자튀김, 음료를 주문할 때 그들을 보고, 대화하고, 이해할 수 있었습니다. 데모는 NVIDIA AI 소프트웨어와 현재 세계에서 가장 큰 맞춤형 언어 모델인 Megatron 530B를 기반으로 진행되었습니다.
DRIVE Concierge AI 플랫폼 데모에서는 중앙 계기판 화면의 디지털 어시스턴트가 운전자가 목적지에 제시간에 도착할 수 있는 최적의 주행 모드를 고르도록 돕고, 이후 차량의 주행 가능 거리가 161km 아래로 떨어지면 알림을 설정해 달라는 요청을 따릅니다.
또한 황 CEO는 Project Maxine이 가상 협업 및 콘텐츠 제작 앱에 최신 영상 및 오디오 기능을 추가할 수 있는 능력을 보여주었습니다. 회사는 한 여성의 사진으로 아바타를 만들고, Riva를 사용해 학습, 텍스트 음성 변환, 다국어 번역을 수행했습니다. 이 디지털 더블은 실제 사람과 매우 비슷하게 보이고 들리며, 자연스러운 시선 접촉을 유지하면서 고개를 돌릴 수도 있습니다.
Omniverse Avatar는 다음 기술을 통해 제공되는 음성 AI, 컴퓨터 비전, 자연어 이해, 추천 엔진, 얼굴 애니메이션 및 그래픽 요소를 사용합니다:
- 음성 인식은 여러 언어의 음성을 인식하는 소프트웨어 개발 키트인 NVIDIA Riva를 기반으로 합니다. Riva는 텍스트 음성 변환 기능을 활용해 사람 목소리의 음성 응답을 생성하는 데도 사용됩니다.
- 자연어 이해는 사람의 언어를 인식하고, 이해하고, 생성할 수 있는 대형 언어 모델 Megatron 530B를 기반으로 합니다. Megatron 530B는 별도 학습이 거의 없거나 전혀 없이도 완전한 문장을 작성하고, 광범위한 분야의 질문에 답하고, 긴 복잡한 이야기를 요약하고, 다른 언어로 번역하며, 특별히 학습되지 않은 많은 분야도 처리할 수 있는 사전 학습 모델입니다.
- 추천 엔진은 NVIDIA Merlin을 기반으로 합니다. Merlin은 기업이 대용량 데이터를 처리해 더 지능적인 추천을 제공하는 딥러닝 추천 시스템을 구축할 수 있게 해주는 프레임워크입니다.
- 인식 기능은 비디오 분석을 위한 컴퓨터 비전 프레임워크인 NVIDIA Metropolis가 지원합니다.
- 아바타 애니메이션은 NVIDIA Video2Face 및 Audio2Face 기술, 2D 및 3D 얼굴 애니메이션, AI 기반 렌더링을 기반으로 합니다.
이 기술들은 하나의 애플리케이션으로 통합되어 NVIDIA Unified Compute Framework를 통해 실시간으로 처리됩니다. 확장 가능하고 맞춤화할 수 있는 마이크로서비스로 패키징된 기능은 NVIDIA Fleet Command를 통해 여러 위치에 안전하게 배포, 관리, 구성될 수 있습니다.
Maxine 개발 도구의 대부분은 이미 제공되고 있습니다. Riva는 공개 베타로 제공되며 '소규모' 작업에는 무료로 사용할 수 있습니다. 더 큰 규모의 배포는 2022년 초 Riva Enterprise 프로그램 출시에 따라 달라질 예정입니다. 다만 Omniverse Avatar는 더 오래 기다려야 합니다. 기반 플랫폼인 Omniverse는 현재 공개 베타 단계이지만, Avatar는 '개발 중'이며 출시 날짜는 정해지지 않았습니다.
