Des chercheurs ont créé un modèle d'IA qui génère automatiquement des bandes-annonces de films

L'intelligence artificielle est une technologie qui peut être appliquée dans tous les domaines. Tout ce qui se passe aujourd'hui en est la preuve : des projets fondés sur l'apprentissage automatique et profond sont utilisés dans divers domaines, de la médecine au divertissement et à l'art. 

Les bandes-annonces sont de courts extraits vidéo qui présentent les nouveaux films aux spectateurs et constituent souvent des éléments clés des stratégies publicitaires des studios de cinéma. Pour être les plus efficaces, les bandes-annonces doivent résumer brièvement l'intrigue du film, en transmettant de manière attrayante son style artistique et son ambiance générale.

Selon une école de cinéma, les bandes-annonces doivent avoir une structure narrative en trois actes : le premier acte présente les personnages et l'intrigue, le deuxième introduit le conflit principal, et le troisième augmente les enjeux et propose des indices sur le dénouement. 

Une autre école se fonde davantage sur l'ambiance de la bande-annonce, déterminée par les hauts et les bas de l'histoire. Selon cette approche, les bandes-annonces doivent d'abord avoir une intensité moyenne pour captiver les spectateurs, puis une faible intensité pour transmettre les informations clés de l'histoire, avant d'augmenter progressivement l'intensité jusqu'au point culminant à la fin de la bande-annonce. 

Jusqu'à présent, les bandes-annonces de films étaient principalement créées par des humains. Cependant, récemment, certains scientifiques travaillant sur l'IA ont commencé à étudier la possibilité que ces spots publicitaires puissent également être créés automatiquement par des machines.

Des chercheurs de l'Université d'Édimbourg ont développé un modèle basé sur un réseau de neurones artificiels, capable de créer automatiquement des bandes-annonces de films. Ce modèle, présenté dans un article sur arXiv, a été créé à l'aide d'un algorithme d'apprentissage automatique non supervisé fondé sur des graphes.

Pour accomplir au mieux la tâche de création automatique de bandes-annonces, les chercheurs ont divisé celle-ci en deux sous-tâches : déterminer la structure narrative du film et prédire le sentiment (c'est-à-dire l'ambiance) qu'il transmet. Ainsi, la technique qu'ils ont créée traite à la fois des parties du film (c'est-à-dire la vidéo) et des extraits de texte du scénario.

« Nous modélisons les films sous forme de graphes, où les nœuds sont des images et les arêtes indiquent les relations sémantiques entre elles. Nous étudions ces relations en appliquant un apprentissage contrastif conjoint qui utilise des informations textuelles privilégiées (par exemple, les personnages, les actions, les situations) issues des scénarios. Ensuite, un algorithme non supervisé parcourt le graphe et génère les bandes-annonces », ont déclaré Pinelopi Papalampidi, Frank Keller et Mirella Lapata, qui ont mené l'étude. 

En substance, la méthode de création de bandes-annonces qu'ils ont développée se compose de deux réseaux de neurones. Pendant que l'un de ces réseaux traite les représentations multimodales des images issues du flux vidéo du film, l'autre analyse les représentations textuelles du moment, fondées sur le scénario du film.

Ensemble, les deux réseaux de neurones peuvent identifier les points de bascule du film, c'est-à-dire les moments particulièrement importants qui doivent figurer dans les bandes-annonces. Les points de bascule dans les films comprennent généralement l'opportunité, le changement de plan, le point de non-retour, l'échec grave et le point culminant.

Les scientifiques ont évalué leur technique de création de bandes-annonces dans une série de tests. Ils ont constaté qu'elle peut identifier les points de bascule des films avec une précision nettement supérieure à celle d'autres méthodes de référence utilisées pour créer des bandes-annonces.

« L'avantage de notre approche est qu'elle est interprétable et peut facilement être utilisée comme outil avec un humain dans la boucle. En particulier, grâce au voisinage immédiat à chaque étape, il est possible de choisir les images selon différents critères automatiques, ou même manuellement. Notre approche réduit considérablement le nombre d'images à examiner pour créer les extraits de la bande-annonce, à 10 % de l'ensemble du film. De plus, nos critères permettent aux utilisateurs d'explorer différentes parties du film et de créer des bandes-annonces variées », indique l'étude. 

Par ailleurs, les chercheurs ont utilisé leur modèle pour créer des bandes-annonces de 40 films différents. Ils ont ensuite comparé la qualité de ces bandes-annonces à celle des vidéos créées à l'aide de méthodes fondées sur l'apprentissage supervisé, c'est-à-dire avec l'aide d'humains. 

Les scientifiques ont posé des questions à des spectateurs sélectionnés sur Amazon Mechanical Turk (AMT). On demandait aux participants quelles bandes-annonces ils préféraient. Fait intéressant, la majorité des personnes interrogées ont préféré les bandes-annonces créées par leur technique à celles des modèles supervisés.

Bien que le modèle créé par Papalampidi, Keller et Lapata ne produise peut-être pas encore des bandes-annonces parfaites, les studios de cinéma pourraient à terme l'utiliser pour faciliter et accélérer la production de bandes-annonces. Entre-temps, l'équipe prévoit de poursuivre le travail sur sa technique afin d'améliorer la qualité des vidéos qu'elle produit.

Les chercheurs ont déclaré : « À l'avenir, nous aimerions nous concentrer sur des méthodes de prédiction des émotions subtiles (par exemple, le chagrin, le dégoût, la terreur, la joie) dans les films. Dans ce travail, nous considérons les sentiments positifs/négatifs comme substitut des émotions, faute d'ensembles de données étiquetés intra-domaine. Les perspectives de travaux futurs incluent de nouveaux jeux de données sur les émotions pour les films, ainsi que des modèles de détection des émotions fondés sur des données textuelles et des indices audiovisuels ».