페이스북, 로봇에게 쓰레기 버리기와 식기세척기 정리를 가르친다
페이스북은 2021년 여름 발표했습니다. 회사가 '구현된 AI(embodied AI)'라고 부르는 기술에서 새로운 한 걸음을 내디뎠다는 내용입니다. 이 기술은 언젠가 로봇이 냉장고에 식품을 채우거나 쓰레기를 버리는 것과 같은 일상적인 작업을 수행할 수 있게 해 줄 것입니다.
회사는 Habitat 2.0을 선보였습니다. 이는 시뮬레이션 환경 플랫폼의 업데이트로, 연구자들이 가상 환경에서 로봇을 고속으로 훈련할 수 있게 하며, 로봇이 일반적인 환경(예를 들어 주방이나 거실)에서 마주칠 수 있는 아주 작은 세부 사항까지 최대한 정확하게 구현합니다.
로봇이 Habitat의 시뮬레이션 가상 환경에서 자유롭게 움직일 수 있게 되면서, 연구자들은 실제 환경에서 훈련하는 것과 비교해 분명한 비용과 시간을 절약할 수 있습니다. 페이스북은 이 플랫폼이 사람들의 집안일을 돕는 보조 로봇의 개발을 가속화하기를 기대하고 있습니다.
페이스북은 여러 해 동안 '구현된 AI'를 발전시키는 작업을 해 왔습니다. 이 분야는 사람들과 함께 현실 세계를 돌아다니면서, 이전에 알려지지 않은 환경이나 길에서 마주치는 예상치 못한 물체에 반응할 수 있는 범용 로봇을 훈련하는 데 초점을 맞춥니다.
이는 가정용 로봇이 명령에 따라 주인에게 물건을 가져다주고 식기세척기를 채울 수 있다는 뜻일 수 있습니다. 또한 시각장애인이 야외를 걸을 때 도움을 주는 안내 로봇처럼 더 중요한 기술로 이어지는 문도 열어 줄 것입니다. 로봇이 현실 세계에서 유용한 작업을 수행하도록 돕려면, 바닥에 흩어진 아이들 장난감과 뒤집힌 카펫 모서리 등이 있는 수백 가지 실제 환경에서 경험을 쌓게 해야 합니다.
바로 여기서 시뮬레이션이 판도를 바꿀 수 있습니다. 페이스북의 과학자들은 로봇을 여러 해 동안 여러 아파트, 집, 사무실로 옮겨 다니게 하는 대신, 훨씬 더 실용적인 접근법은 AI를 가상 환경에 노출해 훈련 속도를 높이는 것이라고 봅니다. 2년 전 회사는 Habitat의 첫 번째 버전을 선보였습니다. 여기에는 Replica 데이터셋이 포함되어 있었는데, 이는 사무실 회의실부터 2층짜리 주택까지 18개 공간을 3D로 스캔한 자료를 모은 것입니다.
Replica는 각 장소의 가장 미세한 부분까지 보여 주는 초현실적인 설정 라이브러리였습니다. 거울에 비친 반사부터 카펫의 질감까지 담겨 있었습니다. 하지만 이는 정적인 데이터셋이었기 때문에, 로봇은 가상 공간을 돌아다닐 수는 있어도 어떤 물체와도 상호작용할 수는 없었습니다.
Habitat 2.0을 만들면서 회사는 이 문제를 해결하기 시작했습니다. 이제 로봇은 새 플랫폼의 가상 환경을 돌아다닐 뿐만 아니라, 일반 주방, 식당, 또는 사람이 사용하는 다른 공간에서 찾을 수 있는 물체와도 상호작용할 수 있습니다.
“이 새로운 데이터셋과 플랫폼 덕분에 AI 연구자들은 정적인 3D 환경에서 단순한 가상 에이전트를 만드는 데서 벗어나, 냉장고 채우기, 식기세척기 적재, 명령에 따른 물건 배달 같은 유용한 작업을 쉽고 안정적으로 수행할 수 있는 로봇을 만드는 단계에 가까워질 수 있습니다”
Replica에는 물체를 옮기고 조작하는 기능을 지원하는 ReplicaCAD라는 업데이트도 추가되었습니다. ReplicaCAD는 3D 아티스트들이 900시간 넘게 작업한 결과물로, 92개의 물체를 포함한 111개의 고유한 주거 공간 레이아웃을 만들었습니다. 물체의 재질 구성, 형상, 질감뿐만 아니라 냉장고 문을 여닫는 것처럼 특별한 기계 장치가 있는지에도 특별히 주의를 기울였습니다.
아티스트들은 주방용품, 책, 가구처럼 현실적인 어수선함까지 재현하는 데 이르렀습니다. 그러나 플랫폼은 아직 완벽과는 거리가 멉니다. 예를 들어 ReplicaCAD는 액체, 천, 밧줄 같은 비강체 동역학을 지원하지 않으며, 소리와 촉각 인식도 포함하지 않습니다. 그럼에도 Habitat 2.0은 로봇이 식탁 차리기, 냉장고 정리, 집 청소 등 다양한 일상 가사 작업을 가상으로 수행할 수 있게 해 줍니다.
'구현된 AI'의 가상 시뮬레이션에 관심을 가진 기업은 페이스북만이 아닙니다. 예를 들어 2021년 시애틀의 앨런 연구소는 100개가 넘는 시뮬레이션 환경에서 물체를 조작할 수 있는 정교한 가상 로봇 손 ManipulaTHOR를 공개했습니다. 그러나 페이스북은 현재 연구자들이 이용할 수 있는 대부분의 3D 시뮬레이터보다 Habitat 2.0의 속도가 두 배 빠르다는 점에서 이 경쟁에서 추가 점수를 얻을 수 있습니다.
“이런 속도는 시간을 크게 줄여, 보통 6개월 넘게 걸리는 실험을 단 이틀 만에 할 수 있게 해 줍니다. 실험 시간이 줄어들면 연구자들은 새로운 아이디어를 훨씬 빠르고 자주 검증할 수 있어, 더 많은 시뮬레이션을 완료하고 이 분야의 발전을 위한 길을 열 수 있습니다”
페이스북 연구팀은 Habitat가 최대 잠재력에 도달하기까지 아직 갈 길이 멉니다. 속도는 물론 항상 더 개선할 수 있지만, 여전히 한 가지 핵심 과제가 남아 있습니다. 바로 여러 작업을 서로 연결하는 것입니다. 오늘날 로봇은 물건 집기, 설치, 서랍 열기 같은 개별 기술을 훈련받을 수 있지만, 이들 작업을 오류가 누적되지 않게 연결하고 수행하는 법은 아직 가르치지 못했으며, 이는 기술의 유용성을 여전히 크게 제한하고 있습니다.
페이스북은 또한 ReplicaCAD를 확장해 다양한 문화와 물체 유형을 반영하는 더 많은 주거 공간을 포함하려 합니다. 이를 위해 회사는 Habitat를 제3자 3D 자원에 개방하고, 공간 데이터 기업 Matterport와 파트너십을 발표했습니다.
