NeatNet — 로봇이 사람의 정리 정돈 선호를 배우도록 돕는 시스템
로봇이 점점 더 정교해지고 저렴해지면서 더 많은 사람들이 집에 로봇을 들여놓을 수 있게 되었습니다. 그래서 많은 로보틱스 연구자들이 요리와 청소 같은 집안일을 효과적으로 도와줄 수 있는 시스템을 개발하려 하고 있습니다.
임페리얼 칼리지 런던의 로봇 학습 연구소 연구진이 NeatNet을 개발했습니다. NeatNet은 사용자 개인의 선호에 맞춰 로봇이 집안 환경을 정돈할 수 있게 해 주는 혁신적인 머신러닝 도구입니다. arXiv에 발표된 이 모델은 그래프 신경망 계층을 갖춘 새로운 변분 오토인코더 구조를 기반으로 합니다.
“사람마다 미적 취향, 습관, 심지어 문화적 배경의 영향을 받아 집을 독특하고 개인적인 방식으로 꾸밉니다. 우리는 사람들이 집을 정리하는 선호를 학습하는 방법을 개발했고, 이를 통해 로봇이 각자의 집을 개인에 맞춰 정리할 수 있도록 했습니다”
존스 박사와 그의 제자 이반 카펠류흐가 개발한 NeatNet 기법은 사용자가 집에서 가구와 물건을 배치하는 모습을 관찰하는 것만으로 사용자 고유의 정리 선호를 로봇이 알아낼 수 있게 합니다. 그런 다음 로봇은 이 선호를 지침으로 삼아 사용자의 집을 정리하며, 사용자의 선호를 반영할 수 있습니다.
존스는 이렇게 말했습니다. "예를 들어 책상을 모든 것이 쉽게 닿도록 아담하게 정돈하는 것을 선호한다고 가정해 봅시다. 로봇이 이 선호를 학습하도록 할 수 있습니다. 로봇이 책상을 치운 뒤에는 책상이 당신에게 편리한 방식으로 정돈되어 있을 것입니다."
NeatNet은 추천 시스템에서 영감을 얻었습니다. 추천 시스템은 스트리밍 플랫폼(예: Netflix, YouTube, Spotify)이나 다른 웹사이트가 사용자에게 새로운 콘텐츠를 추천하는 데 사용하는 머신러닝 도구입니다. 추천 시스템은 사용자가 과거에 시청, 청취 또는 접근했던 콘텐츠를 바탕으로 선호를 학습하여 작동합니다.
연구진은 이렇게 설명했습니다. "당신과 비슷한 선호를 가진 많은 사용자가 새 영화를 봤다면, Netflix는 같은 영화를 당신에게도 추천할 수 있습니다. 이런 방식으로 이러한 기법들이 개인 맞춤 추천을 제공합니다."
정리 선호를 학습하는 이 추천과 유사한 새로운 도구는 존스 박사가 지도한 카펠류흐의 임페리얼 칼리지 런던 박사 논문을 기반으로 합니다. 카펠류흐는 지도교수와 함께 2021년 11월 8일부터 11일까지 런던에서 열린 로봇 학습 컨퍼런스(CoRL)에서 새 논문을 발표했습니다.
"지금까지는 로봇과 그 주변 환경의 컴퓨터 시뮬레이션으로 결과를 발표해 왔지만, 앞으로의 연구에서는 이를 실제 세계의 실제 로봇에 구현할 계획입니다"라고 존스는 말했습니다.
기본적으로 NeatNet은 사용자가 정리하고 치운 장면을 처리합니다. 이 장면들로부터 사용자의 정리 선호를 학습하며, 이는 숫자 나열로 표현됩니다. 마지막으로 이 숫자 나열을 사용해 어떤 물건 묶음이든 개인에 맞게 배치합니다.
“로봇은 미리 얼마나 많은 물건을 만날지 알 수 없기 때문에, NeatNet은 처리에 그래프 신경망을 사용합니다. 이는 공간의 이미지를 직접 학습하는 대신, 각 물체를 노드(또는 점)로 하고 모든 노드를 서로 연결한 그래프로 공간을 모델링한다는 뜻입니다”
그래프 신경망을 사용해 NeatNet은 서로 다른 물체 간의 관계도 학습할 수 있습니다. 예를 들어 키보드와 마우스는 보통 나란히 놓이고, 수저는 접시 옆에 놓인다는 것을 알아낼 수 있습니다.
NeatNet은 일반적인 물체 간 관계를 학습하는 것에 더해 사용자 개인의 선호도 학습합니다. 예를 들어 왼손잡이와 오른손잡이는 선호가 다를 수 있으므로, 사용자가 보통 접시의 어느 쪽에 수저를 놓는지도 시스템이 알아낼 수 있습니다.
존스 박사와 카펠류흐는 75명의 서로 다른 사용자 선호를 반영한 청소 시뮬레이터로 만든 방 배치 예시를 사용해 이 기법을 일련의 실험으로 평가했습니다. 이 테스트에서 NeatNet은 한결같이 깔끔하고 개인화된 방 정리 결과를 만들어 냈습니다.
“우리는 방을 개인에 맞춰 정리하는 것이 모두에게 똑같이 정리하는 것보다 사용자에게 더 만족스럽다는 것을 발견했습니다. 이는 단순한 공간에서도 그러했으며, 수백 개의 물건이 있는 실제 집에서는 방을 정리하는 방식이 훨씬 더 많아집니다”
로봇이 더 흔해지면, 개별 사용자의 선호에 맞춰 작업을 수행하는 능력이 특히 가치 있을 수 있습니다. 따라서 NeatNet은 가정용 도우미 및 로봇의 성능을 높이는 데 특히 유용할 수 있습니다.
“또 다른 흥미로운 발견은, 신경망이 사용자의 선호를 숫자 나열로 표현하지만 여전히 몇 가지 의미 있는 패턴을 찾아낼 수 있었다는 점입니다. 예를 들어 NeatNet은 식탁을 어떻게 꾸미는지에 따라 왼손잡이와 오른손잡이 사용자를 따로 묶기로 했습니다. 이는 신경망을 사용할 때 종종 알아내기 어려운 모델의 내부 작동 방식에 약간의 빛을 비춰 줍니다”
지금까지 NeatNet은 시뮬레이션에서만 테스트되었지만 유망한 결과를 보였습니다. 현재 연구자들은 이 방법을 실제 로봇에 적용하고 평가하는 추가 연구를 진행하고 있습니다.
연구진은 이렇게 전했습니다. "로봇의 카메라('로봇의 눈')를 사용해 방 안에서 물체가 어디에 있는지 파악할 것입니다. 또한 제안된 배치가 물리 법칙에 따라 항상 안전하도록 하는 방법도 살펴볼 것입니다. 예를 들어 접시가 탁자 가장자리 너머로 넘어가서는 안 됩니다. 로봇이 이 정리를 끝내는 데 얼마나 많은 시간이 걸릴지 고려하는 방법도 연구할 것입니다. 예를 들어 집 전체를 치우는 대신, 로봇이 정말 어울리지 않는 몇 가지 물건만 치우도록 원할 수도 있습니다."
