얼굴 인식 기술, 가상현실에서 새로운 단계로
얼굴은 스마트폰 잠금을 해제하고, 보안 건물 출입을 허용하며, 공항 여권 검사를 빠르게 해 주는 등 다양한 용도로 신원을 확인해 줍니다.
호주, 뉴질랜드, 인도의 국제 연구진이 휴대용 컨트롤러나 터치패드 없이 사람의 얼굴 표정을 사용해 가상현실 환경의 사물을 조작하면서 얼굴 인식 기술을 새로운 단계로 끌어올렸습니다.
퀸즐랜드 대학교가 진행한 세계 최초 연구에서 인간-컴퓨터 상호작용 전문가들은 신경 처리 기법을 활용해 사람의 미소, 찡그린 표정, 악문 턱을 포착했고, 각 표정을 가상현실 환경의 특정 동작을 실행하는 데 사용했습니다.
“가상현실(VR) 인터페이스는 디지털 세계와 상호작용할 수 있는 몰입형 환경을 제공합니다. 대부분의 가상현실 인터페이스는 휴대용 컨트롤러를 이용한 물리적 상호작용을 요구하지만, 다양한 활용 사례와 사용자를 지원할 수 있는 다른 대안적 상호작용 방식도 존재합니다. 가상현실 상호작용 방식은 주로 사용 편의성을 기준으로 평가되지만, 신경학적·생리학적 효과의 차이는 아직 충분히 연구되지 않았습니다”라고 연구진은 밝혔습니다.
실험에 참여한 연구원 중 한 명인 남호주 대학교 교수 마크 빌링허스트는 이 시스템이 헤드셋 형태의 뇌전도 장치를 통해 다양한 얼굴 표정을 인식하도록 설계됐다고 말합니다.
“‘움직임’ 명령은 미소로, ‘정지’ 명령은 찡그린 표정으로, ‘행동’ 명령은 턱을 다무는 동작으로 실행했으며, 이 동작들을 수행하는 수동 컨트롤러는 사용하지 않았습니다. 요컨대 분노, 행복, 놀람 같은 흔한 얼굴 표정을 포착해 가상현실 환경에 구현하는 것입니다”
연구진은 행복한, 중립적인, 무서운 세 가지 가상 환경을 만들고, 참가자들이 각 시나리오에 몰입한 동안 인지 상태와 생리적 상태를 측정했습니다.
연구진은 미소, 찡그림, 악문 턱이라는 세 가지 보편적 얼굴 표정을 재현하면서, 환경의 변화가 감정 및 생리적 반응을 바탕으로 이 세 가지 표정 중 하나를 유발하는지 조사했습니다.
“세 가지 서로 다른 상호작용 경험을 가진 환경을 사용했습니다. 행복한 환경(나비 잡기), 중립적 환경(물체 선택), 무서운 환경(좀비 사격)입니다. 전반적으로 상호작용 방식이 뇌의 감마파 활동과 피부 전도도에 영향을 준다는 점을 확인했습니다. 몰입감의 일부 측면에서는 얼굴 표정이 컨트롤러보다 나았지만, 사용 편의성 측면에서는 컨트롤러가 더 낫다는 것이 드러났다”고 과학자들은 전했습니다.
예를 들어 행복한 환경에서 사용자는 공원을 지나 그물망으로 나비를 잡는 과제를 받았습니다. 사용자는 미소를 지으면 움직이고, 찡그리면 멈췄습니다.
중립적 환경에서 참가자들은 작업장을 돌아다니며 여기저기 흩어진 물건들을 모아야 했습니다. 턱을 악무는 동작은 행동을 일으켰는데, 이 경우 각 물건을 집는 것이었고, ‘움직이기 시작’과 ‘움직임 멈추기’ 명령은 미소와 찡그린 표정으로 실행됐습니다.
같은 얼굴 표정이 무서운 환경에서도 사용됐는데, 참가자들은 지하 기지를 이동하며 좀비를 쏘았습니다.
“연구진은 휴대용 컨트롤러가 표정 기반 방식보다 직관적이어서 더 나은 성능을 보일 것으로 예상했지만, 참가자들은 표정으로 제어하는 가상현실에서 더 몰입감을 느꼈다고 응답했습니다”
빌링허스트 교수는 가상현실에서 표정에 의존하는 것이 뇌에 부담이 큰 작업이지만, 사용자에게 더 사실적인 경험을 제공한다고 말했습니다. "추가 연구를 거치면 사용자에게 더 편리하게 만들 수 있기를 바랍니다."
이 기술은 가상현실을 이용하는 새로운 방식을 제공할 뿐만 아니라, 팔다리를 절단한 사람과 운동신경원 질환 환자를 포함한 장애인이 손을 사용하지 않고도 가상현실과 상호작용할 수 있게 해 주며, 완전히 활동 가능한 사람을 위해 설계된 컨트롤러를 더 이상 사용하지 않아도 됩니다.
연구진은 이 기술이 얼굴 표정이 더 자연스러운 상호작용 방식인 휴대용 컨트롤러를 보완하는 데에도 사용될 수 있다고 주장합니다.
연구 결과는 International Journal of Human-Computer Studies에 발표되었습니다: "이 논문에서는 존재감, 정동, 시스템 사용성 등 기존의 정성적 지표와 함께, 가상현실 인터페이스와 상호작용하기 위해 표정을 이용한 대체 상호작용 방식을 사용할 때의 신경생리학적 효과, 즉 뇌 신호와 피부전기활동을 조사합니다. 이 상호작용 방식은 기존의 휴대용 컨트롤러와도 비교되었습니다."
