MIT 연구진, 지능형 소프트 로봇 설계와 학습을 위한 시스템 개발
최고의 계단 오르기 로봇을 만들고 싶다고 상상해 보십시오. 가장 정교한 다리와 발을 강력한 계단 오르기 알고리즘과 결합하여 로봇의 두뇌와 몸체를 모두 최적화해야 할 것입니다.
로봇이 움직이게 하는 데 필수적인 요소는 물리적 몸체의 설계와 두뇌(“제어”)이지만, 기존 벤치마크 환경은 후자만을 중시합니다. 두 요소를 함께 최적화하기는 어렵습니다. 설계 요소가 없어도 다양한 로봇 모델에 서로 다른 작업을 가르치는 데 많은 시간이 걸리기 때문입니다.
매사추세츠 공과대학교(MIT) 컴퓨터과학 및 인공지능 연구소(CSAIL)의 과학자들은 이 공백을 메우고자 개발했습니다. 자연과 진화 과정에서 영감을 얻은 “Evolution Gym”은 소프트 로봇의 설계와 제어를 함께 최적화하기 위한 대규모 테스트 시스템입니다.
시뮬레이터 속 로봇은 부드럽고 단단하며 구동되는 “셀”들이 격자 위에 배열된 말랑한 테트리스 조각과 비슷합니다. 이 로봇들은 걷기, 기어오르기, 물체 조작, 형태 변경, 울퉁불퉁한 지형 탐색 등에 사용됩니다. 로봇의 능력을 검증하기 위해 연구팀은 표준 설계 최적화 기법과 심층 강화학습(RL) 기법을 결합한 자체 공동 설계 알고리즘을 개발했습니다.
공동 설계 알고리즘은 한 쌍의 강력한 파트너처럼 작동합니다. 설계 최적화 기법은 로봇의 몸체를 발전시키고, RL 알고리즘은 제안된 설계에 맞춰 컨트롤러(로봇에 연결되어 움직임을 제어하는 컴퓨터 시스템)를 최적화합니다. 설계 최적화는 “이 설계가 얼마나 잘 작동하는가?”를 묻고, 제어 최적화는 “걷기 5점” 같은 점수를 매깁니다.
결과는 작은 로봇 올림픽과 비슷합니다. 걷기나 점프 같은 표준 과제에 더해, 연구진은 기어오르기, 뒤집기, 균형 잡기, 계단 오르기 같은 독특한 과제도 포함시켰습니다.
30개가 넘는 다양한 환경에서 로봇들은 걷기나 물체 옮기기 같은 단순한 과제는 잘 수행했지만, 잡기나 계단 오르기 같은 더 복잡한 조건에서는 실패하여 현재 공동 설계 알고리즘의 한계를 드러냈습니다. 예를 들어 최적화된 로봇들은 연구팀이 “좌절”이라고 부르는 현상, 즉 여러 과제에서 명백히 최적이 아닌 행동을 보였습니다. 예를 들어 잡기 로봇은 자신의 뒤에서 떨어지는 블록을 잡기 위해 앞으로 자주 뛰어들었습니다.
로봇 설계는 공동 설계 알고리즘에 대한 사전 지식 없이 처음부터 자율적으로 발전했고, 더 진화적인 과정을 거치면서 기존 자연 생명체와 자주 닮아갔으며, 사람이 만든 로봇을 능가하기도 했습니다.
“Evolution Gym을 만들면서 우리는 머신러닝과 인공지능 알고리즘의 한계를 넓히고자 합니다. 속도와 단순성에 중점을 둔 대규모 벤치마크를 만들어, 강화학습과 공동 설계 분야에서 아이디어와 결과를 공유할 공통 언어를 제공할 뿐만 아니라, 연구자들이 최신 컴퓨팅 자원을 활용해 이 분야의 알고리즘 개발에 기여할 수 있도록 합니다. 우리의 작업이 여러분이나 저처럼 똑똑한 로봇과 함께하는 미래에 한 걸음 더 가까워지기를 바랍니다”
사람이 학습하는 방식처럼 로봇이 학습할 때, 시행착오는 강화학습의 바탕이 되는 과제를 더 잘 이해하게 할 수 있습니다. 로봇은 블록을 미는 것과 같은 과제를 배웠습니다. 이를 돕는 정보, 예를 들어 블록이 어디에 있는지와 주변 지형이 어떤지를 “보는” 정보를 얻으면서 말입니다.
그다음 로봇은 얼마나 잘 수행했는지에 대한 점수(“보상”)를 받습니다. 로봇이 블록을 많이 밀수록 보상은 높아집니다. 로봇은 탐색(“점프하면 보상을 늘릴 수 있을까?”라고 스스로 묻는 것)과 활용(보상을 높이는 행동을 더 익히는 것)의 균형을 동시에 맞춰야 합니다.
알고리즘이 서로 다른 설계에 대해 만들어 낸 다양한 “셀” 조합은 매우 효과적이었습니다. 그중 하나는 자연에서 볼 수 있는 구조를 모방한 다리 모양 구조를 가진, 뛰어가는 말과 닮은 로봇으로 발전했습니다. 기어오르는 로봇은 올라가는 데 도움을 주도록 두 개의 팔과 두 개의 다리 같은 구조를 발달시켰습니다(원숭이와 비슷합니다). 들어 올리는 로봇은 두 손가락 집게와 비슷했습니다.
한 가지 향후 연구 방향은 이른바 '형태학적 발달'입니다. 로봇이 점점 더 복잡한 과제를 해결하며 경험을 쌓을수록 점차 더 똑똑해지는 방식입니다. 예를 들어, 먼저 단순한 보행 로봇을 최적화한 뒤, 같은 구조를 물건 운반에 맞게 최적화하고, 이어서 계단을 오르도록 합니다. 시간이 지나면 로봇의 몸과 뇌는 처음부터 같은 과제를 직접 학습한 로봇에 비해 더 복잡한 과제를 해결할 수 있는 무언가로 '변형'됩니다.
“Evolution Gym은 AI 커뮤니티가 지능적인 행동을 뒷받침하는 데 몸과 뇌가 동등한 파트너라는 점을 인식하고 있다는 흐름의 일부입니다. 이러한 파트너십을 형성하는 요인이 무엇인지 밝히기 위해서는 아직 해야 할 일이 매우 많습니다. 이 플랫폼은 아마도 이런 질문을 다루는 데 중요한 도구가 될 것입니다.”
Evolution Gym은 오픈소스이며 무료로 사용할 수 있습니다. 연구진은 이것이 새롭고 개선된 코딩 알고리즘의 탄생을 고무하기를 바라며 이렇게 설계했습니다.
