Дослідники створили модель ШІ, яка автоматично генерує трейлери до фільмів

Штучний інтелект — це технологія, яка може застосовуватися в будь-якій сфері. Усе, що відбувається сьогодні, є доказом цього: проєкти, засновані на машинному та глибокому навчанні, використовуються в різних галузях — від медицини до розваг і мистецтва. 

Трейлери — це короткі відеокліпи, які знайомлять глядачів з новими фільмами і часто є ключовими елементами рекламних стратегій, які застосовують кіностудії. Щоб бути найефективнішими, трейлери мають коротко переказувати сюжет фільму, у привабливій формі передаючи його художній стиль і загальний настрій.

Згідно з однією зі шкіл кінематографа, трейлери повинні мати оповідну структуру, що складається з трьох дій: у першому акті встановлюються персонажі та сюжет, у другому — вводиться головний конфлікт, а в третьому — підвищуються ставки і пропонуються тизери до кінцівок. 

Інша школа більше спирається на настрій трейлера, що визначається злетами і падіннями історії. За цим підходом трейлери спочатку мають середню інтенсивність, щоб захопити глядачів, потім — низьку інтенсивність для передачі ключової інформації про історію, після чого поступово збільшувати інтенсивність до досягнення кульмінації в кінці трейлера. 

Досі трейлери до фільмів переважно створювали люди. Однак нещодавно деякі вчені, які працюють зі ШІ, почали досліджувати можливість того, що ці рекламні ролики також можуть автоматично створюватися машинами.

Дослідники з Единбурзького університету розробили модель на основі штучної нейронної мережі, яка може автоматично створювати трейлери до фільмів. Ця модель, представлена у статті на arXiv, створена за допомогою неконтрольованого алгоритму машинного навчання на основі графів.

Щоб найкраще впоратися із завданням автоматичного створення трейлерів фільму, дослідники поділили його на два підзавдання, а саме: визначення оповідної структури фільму та передбачення почуття (тобто настрою), яке він передає. Таким чином, створена ними техніка обробляє як частини фільму (тобто відео), так і текстові уривки зі сценарію фільму.

«Ми моделюємо фільми у вигляді графів, де вузли є кадрами, а ребра позначають семантичні зв’язки між ними. Ми вивчаємо ці зв’язки, застосовуючи спільне контрастивне навчання, яке використовує привілейовану текстову інформацію (наприклад, персонажі, дії, ситуації) зі сценаріїв. Потім неконтрольований алгоритм переглядає граф і генерує трейлери», — повідомили Пінелопі Папаламіді, Френк Келлер і Мірелла Лапата, які проводили дослідження. 

По суті, створений ними метод створення трейлерів фільму складається з двох нейронних мереж. Одна з цих мереж обробляє мультимодальні представлення кадрів, отримані з відеопотоку фільму, а інша аналізує текстові представлення моменту, засновані на сценарії фільму.

Разом дві нейронні мережі можуть визначати поворотні моменти у фільмі, які є особливо важливими частинами картини і які мають бути показані в трейлерах. Поворотні моменти у фільмах зазвичай включають можливість, зміну плану, точку неповернення, серйозну невдачу і кульмінацію.

Вчені оцінили свою техніку створення трейлерів до фільмів у серії тестів. Вони виявили, що вона може визначати поворотні моменти у фільмах зі значно більшою точністю, ніж інші базові методи створення трейлерів.

«Перевага нашого підходу полягає в тому, що він інтерпретований і може бути легко використаний як інструмент з людиною в циклі. Зокрема, враховуючи безпосереднє сусідство на кожному етапі, можна було вибирати кадри на основі різних автоматичних критеріїв або навіть вручну. Наш підхід різко скорочує кількість кадрів, які необхідно переглянути для створення епізодів трейлера, до 10% від усього фільму. Крім того, наші критерії дозволяють користувачам досліджувати різні розділи фільму і створювати різноманітні трейлери», — йдеться в дослідженні. 

Крім того, дослідники використали свою модель для створення трейлерів до 40 різних фільмів. Потім вони порівняли якість цих створених трейлерів з якістю роликів, створених за допомогою методів, заснованих на контрольованому навчанні, тобто з людською допомогою. 

Вчені ставили запитання глядачам, відібраним на Amazon Mechanical Turk (AMT). Учасників запитували, які з трейлерів вони віддають перевагу. Цікаво, що більшість респондентів надали перевагу трейлерам, створеним їхньою технікою, а не моделям під наглядом.

Хоча модель, створена Папаламіді, Келлером і Лапатою, можливо, ще не створює ідеальні трейлери, зрештою її можуть використовувати кіностудії для полегшення і прискорення виробництва трейлерів. Тим часом команда планує продовжити роботу над своєю технікою, щоб покращити якість відеороликів, які вона виробляє.

Дослідники розповіли: «У майбутньому ми хотіли б зосередитися на методах передбачення тонких емоцій (наприклад, горя, відрази, жаху, радості) у фільмах. У цій роботі ми розглядаємо позитивні/негативні настрої як заміну емоцій через відсутність внутрішньодоменних наборів даних з мітками. Можливості для майбутньої роботи включають нові набори даних про емоції для фільмів, а також моделі виявлення емоцій, засновані на текстових даних і аудіовізуальних підказках».