MIT 연구진, 로봇이 메모리 속 부정확한 사물 라벨을 표시하고 수정하는 시스템 개발
매사추세츠 공과대학교(MIT) 연구진이 로봇의 저장된 사물 설명에서 오류일 가능성이 높은 부분을 찾아내 수정하는 메모리 시스템을 개발했다고 MIT 뉴스가 11월 5일 보도했다.
이 시스템의 이름은 UQ-DAAAM으로, Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment의 줄임말이다. 연구팀은 이 기술이 가정용 또는 산업용 로봇이 식탁 치우기나 사람이 기계를 조립하는 일처럼 여러 단계로 이루어진 복잡한 작업을 수행하는 데 결국 도움이 될 수 있다고 말했다.
문제: 잘못된 기억이 계속 남는다
UQ-DAAAM은 연구팀의 이전 시스템인 DAAAM을 기반으로 한다. 이 시스템은 이미지와 텍스트를 연결하는 AI 모델인 비전-언어 모델(VLM)을 사용해 로봇의 온보드 카메라가 본 사물을 설명한다. 이러한 설명은 로봇이 나중에 조회할 수 있는 환경의 3D 지도에 캡션으로 저장된다.
연구팀은 로봇이 사물을 일부만 보거나, 멀리서 보거나, 흐리거나 어두운 이미지로 볼 수 있으며, 이런 경우 DAAAM이 사물을 잘못 설명할 수 있다고 말했다. 예로 든 사례는 지붕 위의 회색 굴뚝을 다람쥐로 잘못 인식한 경우였다.
“스스로 바로잡을 방법이 없다면, 이렇게 잘못된 기억은 로봇이 환경 속에서 움직이는 동안 계속 남아 이후의 응용 프로그램에 영향을 줄 수 있다.”
수정 방식
로봇이 움직이면서 같은 사물을 여러 각도에서 담은 많은 이미지를 수집한다. MIT에 따르면 UQ-DAAAM은 먼저 모델이 사물에 대해 생성한 단어에 대한 신뢰도를 계산한 다음, 그 설명이 다른 시점에서 같은 사물을 담은 캡션들과 얼마나 일관되는지 확인한다.
“이 두 가지 불확실성을 하나의 수치로 통합하여, VLM이 사물에 대한 전반적인 이해를 얼마나 확신하는지를 나타냅니다.”
이 수치가 임계값을 넘으면 시스템은 단순한 규칙, 즉 휴리스틱을 사용해 추가 시점을 선택한다. 연구팀은 이 규칙이 비전-언어 모델을 다시 실행하지 않고도 가장 좋은 프레임을 찾아낼 수 있으며, 이를 통해 계산량을 크게 줄일 수 있다는 것을 수학적으로 증명했다고 말했다. 이후 대규모 언어 모델이 선택된 캡션들을 하나의 설명으로 병합하는데, 이때 더 최근이고 모호성이 적은 캡션에 더 큰 비중을 둔다.
보고된 결과
MIT는 이 보완 단계가 사물당 추가 캡션 두 개만으로도 로봇 환경 속 사물의 약 92퍼센트에 대한 모호함을 해결한다고 밝혔다. 보고서에 따르면 사물 설명의 정확도는 최첨단 기술과 비교해 5퍼센트 향상되었다.
MIT는 기준 방법과 비교했을 때, 이 시스템이 로봇이 관찰한 사물이 무엇인지, 어디에서 보았는지, 마지막으로 언제 마주쳤는지에 대한 질문에도 더 정확하게 답했다고 밝혔다.
“ChatGPT와 달리 물리적 AI를 생각할 때, 로봇이 틀릴 수도 있다는 면책 문구를 붙이는 것만으로는 충분하지 않다. 로봇이 자신이 모르는 것을 아는 능력은 이 기술이 안전하게 배치되고 사회에 긍정적인 영향을 미치기 위해 필수적일 것이다.”
향후 계획
카를로네가 이 논문의 책임저자이며, 장과 니콜라스 고를로(Nicolas Gorlo)가 공동 제1저자이다. 이 연구는 신경정보처리시스템학회(NeurIPS)에서 발표될 예정이다.
연구팀은 UQ-DAAAM을 모바일 매니퓰레이터 같은 다른 로봇 유형을 안내하는 데 활용하고, 불확실성 기법을 다른 분야에도 적용할 계획이다. 또한 이 시스템이 불확실성이 높은 구역을 로봇이 다시 방문하도록 알려줄 수 있는 방법과, 로봇 주변 환경의 변화를 예측하는 시스템을 위한 불확실성 기법도 연구하고 있다. MIT는 이 연구에 대한 자금이 미 육군 연구소와 미 해군 연구청으로부터 일부 지원되었다고 밝혔다.
출처
- 로봇의 흐릿한 기억 정리하기 — MIT 뉴스 | 매사추세츠 공과대학교
