NVIDIA, 주행 및 로봇 시뮬레이션용 오픈 웨이트 Cosmos 3 모델 4종 추가

NVIDIA는 허깅페이스 게시물에서 Cosmos 3 모델 패밀리에 오픈 웨이트 체크포인트 4종을 추가했다고 밝혔다. 이 모델들은 인터랙티브 월드 시뮬레이션과 다중 센서, 다중 뷰 주행 장면을 생성하도록 설계됐다.

체크포인트는 Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer, Cosmos3-Nano-Sim-Bimanual이다. NVIDIA는 네 모델 모두 160억 개의 학습 가능한 매개변수를 가진 Cosmos 3 Nano의 사후 학습 예시라고 밝혔으며, 이들은 OpenMDW1.1 라이선스를 사용하고 해당 조건에 따라 상업적 및 비상업적 사용을 허용한다고 밝혔다.

주행 모델

Transfer-Auto는 오프라인 합성 주행 데이터 생성을 위한 양방향 모델이라고 NVIDIA는 밝혔다. 어안 카메라를 포함해 최대 11개의 카메라 뷰에 걸쳐 동기화된 영상을 생성하며, RGB와 LiDAR를 함께 생성하는 것을 지원한다. 개발자는 날씨, 조명, 시간대를 바꿀 수 있다고 회사는 밝혔다.

Sim-Auto는 Transfer-Auto의 스트리밍 버전으로, 각 단계가 이전 단계에만 의존하도록 학습됐다. NVIDIA는 이 모델이 몇 차례의 노이즈 제거 과정만으로 짧은 연속 구간 단위로 카메라 영상과 LiDAR를 생성하며, 이전에 생성된 프레임과 새로운 주행 입력을 활용해 긴 인터랙티브 실행을 유지한다고 밝혔다. 폐루프 사용에는 제어 값을 업데이트하는 시뮬레이션 런타임과 World Scenario Map 렌더러가 필요하다고 회사는 밝혔다.

로보틱스 모델

Sim-Transfer는 물리 시뮬레이터에서 깊이, 세그멘테이션 같은 공간 제어 값과 텍스트 프롬프트를 입력받아 로봇 정책이 활용할 수 있는 색상 관측값을 렌더링한다. NVIDIA는 물리 정보와 실제 상태 정보는 시뮬레이터에 남아 있다고 밝혔다.

Sim-Bimanual은 두 팔 로봇'의 동작에 따라 환경이 어떻게 변하는지 시뮬레이션한다. NVIDIA는 이 모델이 정책 또는 사람이 조작하는 조이스틱으로 제어되는 YAM과 AgiBot 구현체를 지원하며, 장면과 로봇 동작으로부터 다음 관측값을 직접 생성한다고 밝혔다.

모델의 작동 방식

NVIDIA는 Cosmos 3이 어텐션을 통해 별도의 텍스트 처리 네트워크와 시각 생성 네트워크를 연결하는 Mixture-of-Transformers 백본을 사용한다고 밝혔다. 모델은 라텐트라고 불리는 압축된 영상 표현에서 작동하며, 더 작은 단위로 나눌수록 새로운 제어가 생성에 더 자주 영향을 준다고 회사는 밝혔다.

게시물은 네 가지 학습 단계를 설명한다. 양방향 적응, 교사 강요, 일관성 증류, 자기 강요다. NVIDIA는 객체에 대한 작은 예측 오류가 문맥으로서 이후 프레임에 전달되어 실수가 누적될 수 있으므로 마지막 단계가 중요하다고 밝혔다.

NVIDIA는 사후 학습 레시피가 Cosmos3-Nano 또는 호환 가능한 기본 가중치에서 시작한다고 밝혔다. Sim-Bimanual의 경우 리눅스, NVIDIA GPU, 도커 및 NVIDIA Container Toolkit을 요구 사항으로 나열했으며, 공개된 설정을 GB200 한 대에서 테스트했다고 밝혔다. 회사는 이것이 최소 메모리 사양은 아니라고 밝혔다.

회사는 해결하기 어려운 문제가 남아 있다고 인정했다. 향후 작업에는 모델이 정책 학습과 평가를 얼마나 잘 지원하는지 확인하고, 한계를 파악하며, 취약한 영역을 개선하는 일이 포함된다고 밝혔다.