Исследователи создали модель ИИ, которая автоматически генерирует трейлеры к фильмам

Искусственный интеллект — это технология, которая может применяться в любой области. Все происходящее в наше время является доказательством этого: проекты, основанные на машинном и глубоком обучении, используются в различных областях — от медицины до развлечений и искусства. 

Трейлеры — это короткие видеоклипы, которые знакомят зрителей с новыми фильмами и часто являются ключевыми элементами рекламных стратегий, применяемых кинокомпаниями. Чтобы быть наиболее эффективными, трейлеры должны кратко излагать сюжет фильма, в привлекательной форме передавая его художественный стиль и общее настроение.

Согласно одной из школ кинематографа, трейлеры должны иметь повествовательную структуру, состоящую из трех действий: в первом акте устанавливаются персонажи и сюжет, во втором — вводится главный конфликт, а в третьем — повышаются ставки и предлагаются тизеры на концовки. 

Другая школа больше основывается на настроении трейлера, определяемом взлетами и падениями истории. По этому подходу трейлеры должны сначала иметь среднюю интенсивность, чтобы увлечь зрителей, затем — низкую интенсивность для передачи ключевой информации об истории, после чего постепенно увеличивать интенсивность до достижения кульминации в конце трейлера. 

До сих пор трейлеры к фильмам в основном создавали люди. Однако недавно некоторые ученые, работающие с ИИ, начали изучать возможность того, что эти рекламные ролики могут также автоматически создаваться машинами.

Исследователи из Эдинбургского университета разработали модель на основе искусственной нейронной сети, которая может автоматически создавать трейлеры к фильмам. Эта модель, представленная в статье на arXiv, создана с помощью неконтролируемого алгоритма машинного обучения на основе графов.

Чтобы лучше всего справиться с задачей автоматического создания трейлеров фильма, исследователи разделили ее на две подзадачи, а именно: определение повествовательной структуры фильма и предсказание чувства (то есть настроения), передаваемого им. Таким образом, созданная ими техника обрабатывает как части фильма (то есть видео), так и текстовые отрывки из сценария фильма.

«Мы моделируем фильмы в виде графов, где узлы являются кадрами, а края обозначают семантические отношения между ними. Мы изучаем эти отношения, применяя совместное сопоставительное обучение, которое использует привилегированную текстовую информацию (например, персонажи, действия, ситуации) из сценариев. Затем неконтролируемый алгоритм просматривает граф и генерирует трейлеры», — сообщили Пинелопи Папаламиди, Фрэнк Келлер и Мирелла Лапата, проводившие исследование. 

По сути созданный ими метод создания трейлеров фильма состоит из двух нейронных сетей. В то время как одна из этих сетей обрабатывает мультимодальные представления кадров, полученные из видеопотока фильма, другая анализирует текстовые представления момента, основанные на сценарии фильма.

Вместе две нейронные сети могут определять поворотные моменты в фильме, которые являются особенно важными частями картины и которые должны быть показаны в трейлерах. Поворотные моменты в фильмах обычно включают возможность, изменение плана, точку невозврата, серьезную неудачу и кульминацию.

Ученые оценили свою технику создания трейлеров к фильмам в серии тестов. Они обнаружили, что она может определять поворотные моменты в фильмах со значительно большей точностью, чем другие базовые методы для создания трейлеров.

«Преимущество нашего подхода состоит в том, что он интерпретируемый и может быть легко использован как инструмент с человеком в цикле. В частности, учитывая непосредственное соседство на каждом этапе, можно было выбирать кадры на основе различных автоматических критериев или даже вручную. Наш подход резко сокращает количество кадров, которые необходимо просмотреть для создания эпизодов трейлера, до 10% от всего фильма. Более того, наши критерии позволяют пользователям исследовать разные разделы фильма и создавать разнообразные трейлеры», — говорится в исследовании. 

Кроме того, исследователи использовали свою модель для создания трейлеров к 40 разным фильмам. Затем они сравнили качество этих созданных трейлеров с качеством роликов, созданных с помощью методов, основанных на контролируемом обучении, то есть с человеческой помощью. 

Ученые задавали вопросы зрителям, выбранным на Amazon Mechanical Turk (AMT). Участников спрашивали, какие из трейлеров они предпочитают. Интересно, что большинство респондентов отдали предпочтение трейлерам, созданным их техникой, а не моделям под наблюдением.

Хотя модель, созданная Папалампиди, Келлером и Лапатой, возможно, еще не создает идеальные трейлеры, в конечном итоге ее могут использовать кинокомпании для облегчения и ускорения производства трейлеров. Тем временем команда планирует продолжить работу над своей техникой, чтобы улучшить качество производимых ею видеороликов.

Исследователи рассказали: «В будущем мы хотели бы сосредоточиться на методах предсказания тонких эмоций (например, горя, отвращения, ужаса, радости) в фильмах. В этой работе мы рассматриваем положительные/отрицательные настроения как замену эмоциям из-за отсутствия внутридоменных наборов данных с метками. Возможности для будущей работы включают новые наборы данных об эмоциях для фильмов, а также модели обнаружения эмоций, основанные на текстовых данных и аудиовизуальных подсказках».