Meta의 연구진, 아이들 그림을 움직이게 하는 AI 시스템 개발

아이들은 놀랍도록 독특하고 특이한 캐릭터를 그리며, 이는 우리의 상상력을 자극하고 그림 속 사람과 사물을 알아보기 위해 조금 다르게 생각하게 만듭니다. 부모나 교사에게는 아이 그림이 무엇을 나타내는지 알아보는 것이 꽤 간단할 수 있지만, AI는 이 과제를 해내지 못합니다. 

아이들의 그림은 종종 추상적이고 독특한 방식으로 그려지기 때문에, 발이 불안정하게 놓여 있거나 양손이 몸의 같은 쪽에 있으면, 사실적인 사진과 그림에서 사물을 잘 찾아내는 현대의 인공지능 시스템조차 혼란스러워합니다.

Meta의 연구진은 AI 시스템이 아이들이 그리는 다양한 방식의 사람 그림을 더 잘 인식할 수 있도록 이 문제를 극복하기 위해 노력하고 있습니다. 연구진은 손으로 그린 어린이의 사람 형상과 사람 같은 캐릭터(양팔, 양다리, 머리를 가진)를 자동으로 애니메이션화하는 업계 최초의 방법을 발표했습니다. 

이 그림들은 인공지능을 이용해 몇 분 만에 살아 움직이게 할 수 있습니다. 시스템에 그림을 업로드하면, 부모와 아이들은 그림이 춤추고 뛰어다니는 움직이는 캐릭터로 변하는 모습을 보며 설렘을 느낄 수 있습니다. 또한 애니메이션으로 만든 그림을 내려받아 친구와 가족과 공유할 수 있습니다. 부모가 동의하는 경우, 이 그림들을 보내 AI 모델을 개선하는 데 활용할 수도 있습니다.

«AI가 인간 창작의 이런 전형적인 형태를 효과적으로 다루도록 가르치면서, 이 프로젝트가 인간의 관점에서 세상을 이해할 수 있는 AI에 한 걸음 더 다가가기를 바랍니다. 또한 이 연구가 인간의 창의력을 높이기 위한 AI 활용 연구를 촉진하고, 이 기술을 새로운 창의적 방식으로 사용하도록 영감을 주기를 기대합니다», — Meta 측이 밝혔습니다. 

연구진의 목표는 어린이 그림 속 사람 형상을 높은 성공률로, 사람의 개입 없이 식별하고 자동으로 애니메이션화할 수 있는 AI 시스템을 만드는 것이었습니다. 

많은 AI 도구와 기법이 사실적인 사람 이미지를 처리하도록 설계되어 있지만, 어린이 그림은 다양성과 예측 불가능성을 더해 무엇이 그려졌는지 파악하기를 훨씬 어렵게 만듭니다. 어린이 그림 속 '사람'은 모양, 색깔, 크기, 비율이 매우 다양하지만, 신체 대칭이나 관점 측면에서는 공통점이 거의 없습니다. 

연구진은 어린이 그림에 나타나는 엄청난 다양성에 맞추기 위해 각 단계에서 접근 방식을 세밀하게 조정하는 4단계 과정으로 이 과제에 접근했습니다.

연구진은 AI가 어린이 그림 속 사람과 비슷한 형상을 인식하도록 가르치는 시스템을 개발했습니다. 이는 페이지의 다른 사물이나 형상이 비슷한 특징, 색깔, 크기를 가질 때 까다로울 수 있습니다. 그 후 사람 형상을 분리하고, 애니메이션이 아이가 의도한 모습에 최대한 가깝도록 페이지에 아무것도 추가하지 않습니다. 이어서 형상의 관절을 찾아내어 애니메이션이 매력적으로 움직일 수 있게 합니다. 이 모든 단계가 완료되면 그림은 애니메이션을 위한 준비가 됩니다.

2D 형상을 3D 모션 캡처로 살아 움직이게 하기 위해, 많은 아이들이 과학자들이 '뒤틀린 원근법'이라고 부르는 방식으로 그림을 그린다는 점을 활용합니다. 많은 아이들은 보통 신체 부위를 실제 사람과 다르게 보일 수 있는, 가장 알아보기 쉬운 시점에서 먼저 그립니다. 예를 들어 다리와 발은 보통 옆에서, 머리와 몸통은 정면에서 그립니다.

연구진은 움직임 재지정 단계에서 이 관점을 사용합니다. 하체와 상체와 관계없이, 움직임이 정면에서 볼 때 더 알아보기 쉬운지 옆에서 볼 때 더 알아보기 쉬운지 자동으로 판단합니다. 선택된 시점을 사용해 움직임을 하나의 2D 평면에 투영하고, 이를 이용해 캐릭터를 조종합니다.

«우리의 연구를 공유함으로써, 아마추어 그림 분야의 컴퓨터 비전 연구가 더 많이 이뤄지기를 바랍니다. 이 프로젝트의 후속 연구는 슈퍼히어로, 공주, 괴물, 닌자 같은 하위 범주의 형상에 더 맞춘 움직임을 찾아내고 적용하는 데 집중할 수 있습니다», — 연구진이 전했습니다. 

재미있는 캐릭터의 부위를 더 자세히 분석하면 안테나, 꼬리, 망토를 식별하고 애니메이션의 매력을 높이기 위해 2차 움직임 요소를 적용하는 데에도 도움이 될 수 있습니다. 언젠가 AI 시스템이 복잡한 그림을 받아 여러 환상적인 캐릭터가 서로 상호작용하고 배경 요소와 함께 등장하는 상세한 애니메이션 만화를 즉시 만들어낼 수도 있을 것입니다. 

AR 안경을 쓰면 이 이야기들이 현실 세계에서도 살아나, 몇 분 전에 그림을 그린 아이와 춤을 추거나 대화를 나눌 수도 있습니다. 가능성은 인간의 상상력만큼이나 무한합니다.

성인이 자녀의 그림과 데모와의 상호작용을 추가 연구 목적으로 사용하는 데 동의하는 경우, 그림과 상호작용은 다음 목적 중 하나로 사용, 공개 또는 게시될 수 있습니다:

1. 모델이 손으로 그린 캐릭터의 관절을 더 잘 식별, 분할 및 배치하도록 학습시키기 위해.
2. 고품질의 시청자 주석을 확보하기 위해. 
3. 학술 연구 작업이나 동영상의 일부로. 
4. 아동용 창작 도구 개발을 연구하는 연구자를 위한 공개 데이터베이스의 일부로. 
5. 향후 추가 이미지 수집을 장려하는 이니셔티브의 일환으로.