Investigadores crean un modelo de IA que genera tráileres de películas automáticamente

La inteligencia artificial es una tecnología que puede aplicarse en cualquier ámbito. Todo lo que ocurre hoy en día lo demuestra: los proyectos basados en el aprendizaje automático y profundo se utilizan en áreas muy diversas, desde la medicina hasta el entretenimiento y el arte. 

Los tráileres son videoclips cortos que presentan las nuevas películas a los espectadores y a menudo son elementos clave de las estrategias publicitarias de las productoras cinematográficas. Para ser más eficaces, los tráileres deben resumir brevemente la trama de la película, transmitiendo de forma atractiva su estilo artístico y el estado de ánimo general.

Según una de las escuelas de cine, los tráileres deben tener una estructura narrativa formada por tres actos: en el primero se presentan los personajes y la trama, en el segundo se introduce el conflicto principal y en el tercero se intensifican las apuestas y se ofrecen pistas sobre el desenlace. 

Otra escuela se basa más en el estado de ánimo del tráiler, determinado por los altibajos de la historia. Según este enfoque, los tráileres deben empezar con una intensidad media para captar la atención de los espectadores, luego con una intensidad baja para transmitir información clave sobre la historia, y después aumentar gradualmente la intensidad hasta alcanzar el clímax al final del tráiler. 

Hasta ahora, los tráileres de películas los creaban principalmente personas. Sin embargo, recientemente algunos científicos que trabajan con IA han empezado a estudiar la posibilidad de que estos anuncios también puedan generarse automáticamente por máquinas.

Investigadores de la Universidad de Edimburgo desarrollaron un modelo basado en una red neuronal artificial que puede crear automáticamente tráileres de películas. Este modelo, presentado en un artículo en arXiv, se creó con un algoritmo de aprendizaje automático no supervisado basado en grafos.

Para resolver mejor la tarea de generar automáticamente tráileres de películas, los investigadores dividieron el problema en dos subtareas: determinar la estructura narrativa de la película y predecir el sentimiento (es decir, el estado de ánimo) que transmite. Así, la técnica que crearon procesa tanto las partes de la película (es decir, el vídeo) como los fragmentos de texto del guion.

«Modelamos las películas como grafos, donde los nodos son fotogramas y las aristas indican las relaciones semánticas entre ellos. Estudiamos estas relaciones aplicando un aprendizaje contrastivo conjunto que utiliza información textual privilegiada (por ejemplo, personajes, acciones, situaciones) de los guiones. Después, un algoritmo no supervisado recorre el grafo y genera los tráileres», explicaron Pinelopi Papalampidi, Frank Keller y Mirella Lapata, autores del estudio. 

En esencia, el método que crearon para generar tráileres de películas consta de dos redes neuronales. Mientras una de estas redes procesa las representaciones multimodales de los fotogramas obtenidas del flujo de vídeo de la película, la otra analiza las representaciones textuales del momento basadas en el guion de la película.

Juntas, las dos redes neuronales pueden identificar los puntos de inflexión de la película, que son las partes especialmente importantes que deben mostrarse en los tráileres. Los puntos de inflexión en las películas suelen incluir la oportunidad, el cambio de planes, el punto de no retorno, un fracaso grave y el clímax.

Los científicos evaluaron su técnica de creación de tráileres en una serie de pruebas. Descubrieron que puede identificar los puntos de inflexión de las películas con una precisión significativamente mayor que otros métodos de referencia para crear tráileres.

«La ventaja de nuestro enfoque es que es interpretable y puede utilizarse fácilmente como herramienta con un humano en el bucle. En particular, al tener en cuenta el contexto inmediato en cada etapa, se podían elegir fotogramas según diversos criterios automáticos o incluso manualmente. Nuestro enfoque reduce drásticamente el número de fotogramas que hay que revisar para crear los episodios del tráiler, hasta el 10 % de la película completa. Además, nuestros criterios permiten a los usuarios explorar distintas secciones de la película y crear tráileres variados», se afirma en el estudio. 

Además, los investigadores utilizaron su modelo para crear tráileres de 40 películas diferentes. Después compararon la calidad de estos tráileres generados con la de los vídeos creados mediante métodos basados en aprendizaje supervisado, es decir, con ayuda humana. 

Los científicos hicieron preguntas a espectadores seleccionados en Amazon Mechanical Turk (AMT). A los participantes se les preguntaba qué tráileres preferían. Curiosamente, la mayoría de los encuestados prefirió los tráileres creados con su técnica frente a los modelos supervisados.

Aunque el modelo creado por Papalampidi, Keller y Lapata quizá todavía no genere tráileres perfectos, con el tiempo las productoras cinematográficas podrían utilizarlo para facilitar y acelerar la producción de tráileres. Mientras tanto, el equipo planea seguir trabajando en su técnica para mejorar la calidad de los vídeos que produce.

Los investigadores explicaron: «En el futuro nos gustaría centrarnos en métodos para predecir emociones sutiles (por ejemplo, pena, asco, terror, alegría) en películas. En este trabajo tratamos los sentimientos positivos/negativos como sustituto de las emociones debido a la falta de conjuntos de datos etiquetados dentro del dominio. Las posibilidades de trabajo futuro incluyen nuevos conjuntos de datos sobre emociones para películas, así como modelos de detección de emociones basados en datos de texto y pistas audiovisuales».