LiberAI, 인간 경험 220만 시간으로 학습한 로봇 모델 Liber-0 공개

베이징 기반 스타트업 LiberAI 측은 The Robot Report 보도에 따르면 과제별 로봇 시연 없이 로봇 조작을 겨냥해, 인간 경험 220만 시간 이상으로 사전 학습한 세계 행동 모델 Liber-0을 소개했다. 회사는 11월 4일 이 모델을 발표했다.

LiberAI 측은 Liber-0 모델이 인간 영상과 장갑으로 기록한 손 동작을 결합하고, 동작을 수행하는 신체를 모델에 알려주는 신체 조건부 학습(모델에 동작 수행 신체에 대한 정보를 제공하는 방식)을 사용해 인간의 조작 능력을 로봇에 전이한다고 밝혔다.

제로샷 테스트 결과

LiberAI 측은 GPT-6 제안 과제 묶음 60개로 모델을 평가했다. 집어서 놓기 과제 20개, 기타 조작 과제 20개, 어렵고 장기간이 필요한 과제 20개로 구성됐다. 예로는 펜을 연필 통에 넣기와 서랍 밀어 닫기가 포함됐다.

회사는 600회 시행에 걸쳐 집어서 놓기 63.5%, 기타 조작 34.0%, 가장 어려운 과제 10.5%의 성공률을 보고했으며, 전체 성공률은 36.0%라고 밝혔다. 여기서 제로샷은 테스트된 체크포인트가 해당 과제를 위해 수집된 로봇 시연으로 학습되지 않았음을 뜻하며, 다만 사전 학습에는 로봇 데이터가 포함됐다.

모델이 인간 영상을 로봇 동작과 연결하는 방식

LiberAI 측은 인간 영상을 로봇 명령으로 직접 바꿀 수 없다고 설명했다. 회사에 따르면 카메라 위치가 다양하고, 영상에서 추정한 손 자세는 부정확하며, 인간 신체는 로봇과 다르게 움직인다.

이를 해결하기 위해 회사는 손 움직임을 직접 기록하는 데이터 수집 장갑 LiberSense Glove를 사용한다. 또한 카메라 시점과 손, 손목, 허리 움직임이 인간과 더 비슷한 로봇 플랫폼을 쓰며, 신체 형태와 관절 움직임에 대한 정보를 제공하는 Unified Embodiment Representation도 활용한다. Liber-0은 미래 영상 프레임과 동작을 함께 예측하여, 동작 라벨 없이도 일반 영상으로부터 학습할 수 있다.

“인간 영상은 사람이 무엇을 하는지 보여 주지만, 손이 정확히 어떻게 움직이는지나 그 움직임이 다른 신체에 어떻게 맞는지는 보여 주지 않는다,”

Songming Liu, LiberAI 창업자 겸 CEO

로봇 시연 필요량 감소

별도의 8개 과제 실험에서 LiberAI 측은 로봇 시연 풀의 25%와 장갑 풀 전체로 학습한 정책이 진행 점수 75.6에 도달했다고 밝혔다. 전체 로봇 풀로 학습한 정책은 72.8이었다. 이는 로봇 시연을 75% 줄이면서도 비슷한 성능을 낸 것이지만, 혼합 정책은 여전히 전체 장갑 데이터를 사용했다.

다른 통제 실험에서, 집어서 놓기만 다룬 로봇 시연으로 학습한 정책은 집어서 놓기가 아닌 과제에서 2.2점을 받았다. 해당 동작에 대한 장갑 기록을 추가하자 점수는 47.5로 올랐다.

한계

LiberAI 측은 장갑이 손 자세와 궤적은 기록하지만 촉각이나 힘은 측정하지 않는다고 밝혔다. 이러한 신호는 삽입, 체결, 부드러운 소재 다루기 같은 과제에 중요하다. 회사는 촉각 및 힘 감지와 더 다양한 가정에서의 데이터 수집을 향후 연구 방향으로 제시했다.