연구자들이 영화 예고편을 자동으로 생성하는 AI 모델을 개발했다
인공지능은 모든 분야에 적용될 수 있는 기술이다. 오늘날 일어나는 모든 일이 이를 증명한다. 머신러닝과 딥러닝에 기반한 프로젝트들이 의학부터 엔터테인먼트와 예술에 이르기까지 다양한 분야에서 쓰이고 있다.
예고편은 관객에게 새 영화를 소개하는 짧은 영상 클립으로, 영화사가 사용하는 홍보 전략의 핵심 요소인 경우가 많다. 예고편이 효과를 발휘하려면 영화의 줄거리를 간결하게 전달하고, 매력적인 방식으로 작품의 예술적 스타일과 전반적인 분위기를 담아내야 한다.
한 영화 학파에 따르면, 예고편은 세 막으로 구성된 서사 구조를 가져야 한다. 첫 막에서는 인물과 줄거리를 소개하고, 둘째 막에서는 주요 갈등을 제시하며, 셋째 막에서는 긴장감을 높이고 결말에 대한 티저를 제공한다.
다른 학파는 이야기의 굴곡에 따라 결정되는 예고편의 분위기에 더 초점을 맞춘다. 이 접근법에서는 예고편이 관객의 관심을 끌기 위해 처음에는 중간 강도로 시작해야 하고, 이후 핵심 정보를 전달하기 위해 낮은 강도로 전환한 뒤, 예고편 마지막에 절정에 이를 때까지 점차 강도를 높여야 한다.
지금까지 영화 예고편은 주로 사람이 만들어 왔다. 그러나 최근 일부 AI 연구자들은 이러한 홍보 영상도 기계가 자동으로 만들 수 있는 가능성을 탐구하기 시작했다.
에든버러 대학교의 연구진은 영화 예고편을 자동으로 생성할 수 있는 인공 신경망 기반 모델을 개발했다. arXiv에 발표된 이 모델은 그래프 기반의 비지도 머신러닝 알고리즘으로 만들어졌다.
영화 예고편의 자동 생성 과제를 가장 잘 해결하기 위해 연구진은 이를 두 개의 하위 과제로 나누었다. 즉, 영화의 서사 구조를 파악하는 것과 영화가 전달하는 정서(즉, 분위기)를 예측하는 것이다. 이에 따라 연구진이 만든 기술은 영화의 장면(즉, 영상)과 시나리오의 텍스트 발췌문을 함께 처리한다.
"우리는 영화를 그래프로 모델링하며, 노드는 장면을, 엣지는 장면 사이의 의미적 관계를 나타낸다. 시나리오에서 얻은 특권 텍스트 정보(예: 인물, 행동, 상황)를 활용하는 공동 대조 학습을 적용해 이러한 관계를 학습한다. 그런 다음 비지도 알고리즘이 그래프를 탐색하고 예고편을 생성한다"라고 연구를 수행한 펠로피 파파라담피디, 프랭크 켈러, 미렐라 라파타는 밝혔다.
결국 연구진이 만든 영화 예고편 생성 방식은 두 개의 신경망으로 구성된다. 한 신경망은 영화의 영상 스트림에서 얻은 장면들의 멀티모달 표현을 처리하고, 다른 신경망은 영화 시나리오에 기반한 순간의 텍스트 표현을 분석한다.
두 신경망은 함께 영화에서 특히 중요한 장면이자 예고편에 반드시 담겨야 할 전환점을 식별할 수 있다. 영화의 전환점에는 보통 기회, 계획의 변화, 돌이킬 수 없는 지점, 심각한 실패, 절정이 포함된다.
연구진은 일련의 테스트를 통해 영화 예고편 제작 기술을 평가했다. 그 결과 이 기술이 다른 기본 예고편 생성 방식보다 훨씬 높은 정확도로 영화의 전환점을 찾아낼 수 있음을 확인했다.
"우리 접근법의 장점은 해석이 가능하며, 사람이 개입하는 도구로 쉽게 활용할 수 있다는 점이다. 특히 각 단계의 직접적인 인접 장면을 고려하면, 다양한 자동 기준에 따라 또는 수동으로 장면을 선택할 수 있다. 우리 접근법은 예고편 장면을 만들기 위해 검토해야 할 장면의 수를 영화 전체의 10%까지 크게 줄인다. 또한 우리의 기준을 통해 사용자는 영화의 여러 부분을 탐색하고 다양한 예고편을 만들 수 있다"고 연구에서 밝혔다.
또한 연구진은 이 모델을 사용해 40편의 서로 다른 영화에 대한 예고편을 만들었다. 그다음 이렇게 생성된 예고편의 품질을 지도 학습 기반 방법, 즉 사람의 도움을 받는 방법으로 만든 예고편의 품질과 비교했다.
연구진은 Amazon Mechanical Turk(AMT)에서 선정한 시청자들에게 질문을 던졌다. 참가자들에게 어떤 예고편을 선호하는지 물었다. 흥미롭게도 대다수 응답자는 지도 학습 모델이 만든 예고편보다 이 기술로 만든 예고편을 선택했다.
파파람피디, 켈러, 라파타가 만든 모델이 아직 완벽한 예고편을 만들지는 못할 수도 있지만, 결국 영화사들이 예고편 제작을 더 쉽고 빠르게 하는 데 이 모델을 활용할 수 있을 것이다. 한편 연구팀은 생성되는 영상의 품질을 높이기 위해 이 기술을 계속 개선할 계획이다.
연구진은 이렇게 전했다. "향후에는 영화에서 세밀한 감정(예: 슬픔, 혐오, 공포, 기쁨)을 예측하는 방법에 집중하고자 합니다. 이 연구에서는 레이블이 달린 도메인 내 데이터셋이 부족하다는 이유로 긍정/부정 정서를 감정의 대체 지표로 사용했습니다. 향후 연구의 가능성에는 영화를 위한 새로운 감정 데이터셋과 텍스트 데이터 및 시청각 단서에 기반한 감정 탐지 모델이 포함됩니다."
