KO
검색
사진: Robohub

시뮬레이션에서 훈련한 로봇 군집, 실제 로봇에서도 안정적으로 작동

브뤼셀 자유대학교 산하 인공지능 연구소 IRIDIA는 로봇 군집이 소프트웨어에서 익힌 행동을 실제 기계로 옮기는 방법을 소개했다. 이 방법으로 훈련한 군집은 실제 로봇에서도 안정적으로 작동했다고 연구팀은 밝혔다. 결과는 Science Robotics에 실렸다.

강화학습은 기계가 반복 시도를 통해 행동을 찾아내도록 하며, 보통 시뮬레이터 안에서 이뤄진다. 문제는 연구자들이 “현실 격차”라고 부르는 현상이다. 마찰, 잡음이 섞인 센서, 불완전한 기계 구조는 시뮬레이터와 실제 세계에서 다르며, 그래서 소프트웨어에서 익힌 기술이 하드웨어에서 자주 실패한다.

군집 로보틱스는 다른 길을 걸어왔다. 이 분야의 모듈식 설계 방법은 미리 정의된 블록으로 행동을 만든다. 연구진에 따르면 이 방식은 실제 기계로 안정적으로 옮겨가지만, 느리고 비용이 많이 드는 탐색 절차에 의존한다. 두 접근법을 엄밀하게 비교한 사례는 드물었다.

연구진은 알고리즘이 바퀴마다 속도를 정하도록 하는 대신, 검증된 행동 몇 가지 중에서 한 단계씩 고르도록 했다. 행동에는 빛을 향해 가기, 동료 로봇에 합류하기, 탐색하기가 포함된다. 이런 방식으로 제한하면 로봇이 시뮬레이터에만 존재하는 지름길을 배우지 않는다고 연구진은 설명했다.

“수년간 우리는 현실 격차의 본질이 과적합 문제라고 주장해 왔다. 지나치게 유연한 설계 방법은 과제가 아니라 시뮬레이터를 학습한다,”

연구를 이끈 마우로 비라타리

연구진은 e-puck 로봇 20대로 구성된 군집을 이용해 다섯 가지 집단 임무에서 실제 로봇 실험을 250번 진행했다. 연구팀은 이 방식으로 훈련한 군집이 안정적으로 옮겨갔으며, 알고리즘이 모터를 직접 제어하는 선도적인 방법보다 크게 뛰어났다고 밝혔다. 경쟁 접근법은 시뮬레이터를 벗어나자 성능이 떨어졌다.

추가로 확인된 결과도 있다. 제약이 있는 단순한 제어 정책이 더 크고 유연한 정책보다 실제 로봇으로 더 잘 옮겨갔다. 이는 더 크고 유연한 모델일수록 대체로 성능이 좋다는 AI 분야의 흔한 통념과 배치되는 결과다.

“가장 흥미로운 점은 이로써 강화학습이 군집 로보틱스의 실용적인 도구가 된다는 것입니다,”

연구 제1저자 일리에스 가르비

가르비는 다음 단계로 더 큰 규모의 군집을 다른 로봇 플랫폼과 통제가 덜 된 환경에서 시험하는 것이라고 말했다. 저자들은 이 연구를 서로 별개로 발전해 온 두 연구 흐름을 잇는 작업으로 규정한다. 자율 로봇 팀이 수색·구조나 환경 모니터링을 맡기 전에 두 흐름 모두 필요하다고 설명했다.

출처