MIT 연구진, 객체 간 관계를 이해하는 AI 알고리즘 개발
사람은 어떤 표면을 보든 물체와 그 사이의 관계를 봅니다. 여러분의 책상 위에는 컴퓨터 모니터 앞에 있는 휴대폰의 왼쪽에 놓인 노트북이 있을 수 있습니다.
많은 딥러닝 모델은 개별 물체 간의 복잡한 관계를 이해하지 못하기 때문에 세상을 이런 방식으로 보는 데 어려움을 겪습니다. 이러한 관계를 알지 못하면 주방에서 사람을 돕도록 설계된 로봇은 ‘가스레인지 왼쪽에 있는 뒤집개를 집어서 도마 위에 놓아라’와 같은 명령을 수행하는 데 어려움을 겪을 것입니다.
이 문제를 해결하기 위해 매사추세츠 공과대학교(MIT) 연구진은 장면 속 물체 간의 기본 관계를 이해하는 모델을 개발했습니다. 이 모델은 각 관계를 하나씩 표현한 다음 이러한 표현을 결합해 장면 전체를 설명합니다. 이를 통해 모델은 여러 객체가 서로 다양한 관계에 있는 장면이라도 텍스트 설명으로부터 더 정확한 이미지를 생성할 수 있습니다.
이 연구는 창고에서 물건을 쌓거나 기기를 조립하는 등 산업용 로봇이 복잡한 다단계 조작 작업을 수행해야 하는 상황에 적용될 수 있습니다. 또한 기계가 사람처럼 학습하고 주변 환경과 상호작용할 수 있도록 하는 과학 분야에서 한 걸음 더 나아가게 합니다.
“제가 탁자를 바라볼 때, XYZ 위치에 물체가 있다고 말할 수는 없습니다. 우리의 두뇌는 그렇게 작동하지 않습니다. 우리 의식에서 장면을 이해할 때는 물체 간의 관계를 기반으로 실제로 이해합니다. 우리는 물체 간 관계를 이해할 수 있는 시스템을 구축하면 이를 더 효과적으로 제어하고 환경을 바꾸는 데 사용할 수 있으리라 생각합니다”
연구진이 개발한 프레임워크는 “파란 의자 왼쪽에 있는 나무 탁자. 파란 의자 오른쪽에 있는 빨간 소파.” 같은 물체와 그 관계에 대한 텍스트 설명으로부터 사건 장면의 이미지를 생성할 수 있습니다.
이 시스템은 문장을 각 개별 관계를 설명하는 두 개의 작은 부분(“파란 의자 왼쪽에 있는 나무 탁자”와 “파란 의자 오른쪽에 있는 빨간 소파”)으로 나눈 다음 각 부분을 따로 모델링합니다. 이후 이 부분들은 최적화 과정에서 결합되어 사건 장면의 이미지를 만들어 냅니다.
연구진은 사건 설명에서 개별 물체의 관계를 표현하기 위해 에너지 기반 모델(energy-based models)이라는 기계학습 기법을 사용했습니다. 이 방법을 통해 각 관계 설명을 하나의 에너지 모델로 인코딩한 뒤, 모든 객체와 관계가 드러나도록 이들을 조합할 수 있습니다.
“문장을 관계별로 더 짧은 부분으로 나누면, 시스템은 이전에 보지 못한 장면 설명에 더 잘 맞도록 이를 다양한 방식으로 재조합할 수 있습니다”라고 CSAIL 박사과정생 슈앙 리가 말했습니다.
“다른 시스템은 모든 관계를 하나의 전체로 보고 설명으로부터 이미지를 한 번에 생성합니다. 그러나 이러한 접근법은 관계가 많은 설명처럼 분포 밖의 설명이 주어지면 실패합니다. 이는 모델이 더 많은 관계를 포함한 이미지를 생성하도록 하나의 샷을 실제로 적응시킬 수 없기 때문입니다. 반면 이런 작은 개별 모델들을 함께 구성하면 더 많은 관계를 모델링하고 새로운 조합에도 적응할 수 있습니다”
이 시스템은 반대 방향으로도 작동합니다. 즉 이미지를 보고 장면 속 물체 간 관계에 맞는 텍스트 설명을 찾을 수 있습니다. 또한 이 모델은 새로운 설명에 맞게 물체의 위치를 바꿔 이미지를 편집하는 데에도 사용할 수 있습니다.
연구진은 자신들의 모델을 텍스트 설명을 입력받아 해당 물체와 관계를 보여주는 이미지를 만드는 다른 딥러닝 방법들과 비교했습니다. 모든 경우에서 연구진의 모델이 기준 성능을 능가했습니다.
또한 연구진은 사람들에게 생성된 이미지가 원래 설명과 일치하는지 평가해 달라고 요청했습니다. 관계가 세 개인 가장 복잡한 예시에서 참가자의 91%가 새 모델이 더 잘 작동한다고 결론 내렸습니다.
“우리가 발견한 흥미로운 점 중 하나는, 우리 모델의 경우 제안을 하나의 설명에서 두 개, 세 개, 심지어 네 개의 설명으로 늘릴 수 있으며, 우리 접근법은 여전히 관계에 맞게 올바로 기술된 이미지를 생성할 수 있는 반면 다른 방법은 실패한다는 것입니다”
연구진은 시스템이 이전에 보지 못한 장면의 모델 이미지와 각 이미지에 대한 여러 가지 텍스트 설명도 보여 주었고, 이미지 속 물체 관계에 가장 잘 맞는 설명을 성공적으로 찾아냈습니다.
연구진이 같은 이미지를 다르게 설명하는 두 개의 관계 장면 설명을 시스템에 주었을 때, 모델은 두 설명이 동등하다는 것을 이해할 수 있었습니다. 과학자들은 특히 시스템이 이전에 접하지 못한 설명을 다룰 때의 신뢰성에 깊은 인상을 받았습니다.
“이는 사람이 작동하는 방식에 더 가깝기 때문에 매우 유망합니다. 사람은 몇 가지 예시만 볼 수 있지만, 그 몇 가지 예시에서 유용한 정보를 얻어 이를 결합해 무한한 조합을 만들어 낼 수 있습니다. 우리 모델도 이런 특성을 가지고 있어, 더 적은 데이터로 학습하면서도 더 복잡한 장면이나 이미지 생성으로 일반화할 수 있습니다”
이러한 초기 결과는 고무적이지만, 연구진은 잡음이 많은 배경과 서로를 가리는 물체가 있는 보다 복잡한 실제 이미지에서 모델이 어떻게 작동하는지 보고 싶어 합니다.
연구진은 또한 궁극적으로 모델을 로봇 시스템에 통합하는 데에도 관심이 있습니다. 이를 통해 로봇은 물체 간의 관계를 파악하고, 그 지식을 활용해 실제 세계의 물체를 조작할 수 있게 됩니다.
“우리 주변 세계의 구성적 특성을 다룰 수 있는 시각적 표현을 개발하는 것은 컴퓨터 비전의 핵심 미해결 과제 중 하나입니다. 이 연구는 사건 장면에 묘사된 여러 물체 간의 관계를 명시적으로 모델링하는 에너지 기반 모델을 제안함으로써 이 문제 해결에 상당한 진전을 이뤘습니다. 결과는 정말 인상적입니다”
