研究者が映画の予告編を自動生成するAIモデルを開発

人工知能はどんな分野にも応用できる技術だ。現在起きていることがそれを証明している。機械学習や深層学習に基づくプロジェクトは、医療から娯楽、芸術に至るまで、さまざまな分野で使われている。 

予告編は、新作映画を観客に紹介する短い映像であり、映画会社が用いる宣伝戦略の重要な要素であることが多い。効果的な予告編であるためには、映画のあらすじを簡潔に伝え、作品の芸術的なスタイルと全体の雰囲気を魅力的な形で伝える必要がある。

映画の一つの流派によれば、予告編は三つの幕からなる物語構造を持つべきだという。第一幕では登場人物と筋を提示し、第二幕では主要な対立を導入し、第三幕では賭け金を引き上げ、結末へのティーザーを示す。 

別の流派は、物語の起伏によって決まる予告編の雰囲気をより重視する。このアプローチでは、予告編はまず観客を引き込むために中程度の強度で始め、次に物語の重要な情報を伝えるために低い強度にし、その後徐々に強度を高めて予告編の最後で頂点に達するべきだとされる。 

これまで映画の予告編は主に人間が制作してきた。しかし最近、AIを研究する一部の科学者が、こうした宣伝映像も機械が自動的に作れる可能性を探り始めている。

エディンバラ大学の研究者たちは、映画の予告編を自動生成できる人工ニューラルネットワークに基づくモデルを開発した。このモデルはarXivの論文で発表されており、グラフに基づく教師なし機械学習アルゴリズムを用いて作られている。

映画の予告編を自動生成するというタスクを最もうまく解決するため、研究者たちはそれを二つのサブタスクに分けた。すなわち、映画の物語構造を特定することと、それによって伝えられる感情（つまり雰囲気）を予測することだ。こうして開発された手法は、映画の映像部分と脚本からのテキストの一節の両方を処理する。

「われわれは映画をグラフとしてモデル化し、ノードはフレーム、エッジはそれらの間の意味的関係を表す。これらの関係は、脚本からの特権的なテキスト情報（例：登場人物、行動、状況）を利用する共同対比学習によって学習する。その後、教師なしアルゴリズムがグラフを探索し、予告編を生成する」と、研究を行ったペネロピ・パパラムディ、フランク・ケラー、ミレラ・ラパタは述べている。 

基本的に、彼らが考案した映画予告編の生成手法は二つのニューラルネットワークから構成される。一方のネットワークは映画の映像ストリームから得られるフレームのマルチモーダル表現を処理し、もう一方は脚本に基づく場面のテキスト表現を分析する。

二つのニューラルネットワークを合わせることで、映画の中で特に重要で予告編に登場すべき転換点を特定できる。映画の転換点には通常、機会、計画の変更、後戻りできない地点、重大な失敗、クライマックスが含まれる。

研究者たちは一連のテストで、予告編を作る手法を評価した。その結果、他の基本的な予告編生成手法よりも著しく高い精度で映画の転換点を特定できることがわかった。

「われわれのアプローチの利点は、解釈可能であり、人間が介在するツールとして容易に使えることだ。特に、各段階の直接の隣接関係を考慮することで、さまざまな自動基準に基づいて、あるいは手作業でフレームを選択することができる。われわれのアプローチは、予告編のエピソードを作成するために確認する必要のあるフレームの数を映画全体の10%まで大幅に削減する。さらに、われわれの基準によって、ユーザーは映画の異なる部分を探索し、多様な予告編を作成できる」と研究には記されている。 

さらに研究者たちは、このモデルを使って40本の異なる映画の予告編を作成した。その後、作成された予告編の品質を、教師あり学習に基づく手法、すなわち人間の助けを借りた手法で作られた映像の品質と比較した。 

科学者たちは、Amazon Mechanical Turk（AMT）で選ばれた視聴者に質問した。参加者は、どの予告編を好むかを尋ねられた。興味深いことに、回答者の多数は、教師ありモデルではなく、この手法で作られた予告編を支持した。

パパラムディ、ケラー、ラパタが作ったモデルはまだ完璧な予告編を作れないかもしれないが、最終的には映画会社が予告編の制作を簡便にし、高速化するために使う可能性がある。一方、チームはこの手法の改良を続け、制作する映像の品質向上を目指す計画だ。

研究者たちは次のように語った。「今後は、映画における悲しみ、嫌悪、恐怖、喜びといった微妙な感情を予測する手法に焦点を当てたい。本研究では、ラベル付きのドメイン内データセットが存在しないため、正/負の雰囲気を感情の代替として扱っている。今後の研究の可能性として、映画の新たな感情データセットや、テキストデータと視聴覚的手がかりに基づく感情検出モデルが挙げられる」。