Investigadores del MIT desarrollan un algoritmo de IA que comprende las relaciones entre objetos
Cuando las personas miran cualquier superficie, ven los objetos y sus relaciones. Sobre su mesa puede haber un portátil situado a la izquierda del teléfono, que a su vez está delante del monitor del ordenador.
Muchos modelos de aprendizaje profundo tienen dificultades para ver el mundo de este modo, porque no comprenden las complejas relaciones entre los objetos individuales. Sin conocer estas relaciones, un robot diseñado para ayudar a alguien en la cocina tendrá problemas para ejecutar una orden como «coge la espátula que está a la izquierda de la placa y ponla sobre la tabla de cortar».
Para abordar este problema, investigadores del Instituto Tecnológico de Massachusetts han desarrollado un modelo que comprende las relaciones básicas entre los objetos de una escena. Su modelo representa las relaciones individuales una a una y luego combina esas representaciones para describir la escena completa. Esto permite al modelo generar imágenes más precisas a partir de descripciones de texto, incluso cuando la escena incluye varios objetos que mantienen distintas relaciones entre sí.
Este trabajo puede aplicarse en situaciones en las que los robots industriales deben realizar tareas de manipulación complejas y de varios pasos, como apilar artículos en un almacén o montar equipos electrónicos. Además, acerca un paso más a la ciencia al objetivo de que las máquinas aprendan e interactúen con su entorno como lo hacen las personas.
«Cuando miro una mesa, no puedo decir que haya un objeto en la ubicación XYZ. Nuestro cerebro no funciona así. En nuestra mente, cuando entendemos una escena, la comprendemos a partir de las relaciones entre los objetos. Creemos que, si construimos un sistema que pueda entender las relaciones entre los objetos, podríamos usarlo para controlar y modificar nuestro entorno de manera más eficaz»
La estructura desarrollada por los investigadores puede generar una imagen de la escena a partir de una descripción de texto de los objetos y sus relaciones, por ejemplo: «Una mesa de madera a la izquierda de una silla azul. Un sofá rojo a la derecha de la silla azul».
Su sistema divide estas frases en dos partes más pequeñas, cada una describiendo una relación individual («una mesa de madera a la izquierda de una silla azul» y «un sofá rojo a la derecha de la silla azul»), y luego modela cada parte por separado. Después, esas partes se combinan en un proceso de optimización que da como resultado la imagen de la escena.
Los investigadores utilizaron un método de aprendizaje automático llamado modelos energéticos para representar la relación entre los objetos individuales en la descripción de la escena. Este método les permite usar un único modelo energético para codificar cada descripción relacional y luego unirlas de forma que se generen todos los objetos y relaciones.
«Al dividir las frases en partes más cortas para cada relación, el sistema puede recombinarlas de distintas maneras para adaptarse mejor a descripciones de escenas que no había visto antes», explicó Shuang Li, estudiante de doctorado del CSAIL.
«Otros sistemas tratan todas las relaciones como un conjunto y generan la imagen de una sola vez a partir de la descripción. Sin embargo, estos enfoques fallan cuando se encuentran descripciones fuera de la distribución, como las que tienen muchas relaciones, porque el modelo no puede adaptar realmente una sola toma para crear imágenes con más relaciones. En cambio, cuando combinamos estos modelos más pequeños e independientes, podemos modelar un mayor número de relaciones y adaptarnos a nuevas combinaciones»
El sistema también funciona en sentido inverso: a partir de una imagen, puede encontrar descripciones de texto que correspondan a la relación entre los objetos de la escena. Además, el modelo puede utilizarse para editar una imagen, reordenando los objetos para que se ajusten a una nueva descripción.
Los investigadores compararon su modelo con otros métodos de aprendizaje profundo que recibían descripciones de texto y creaban imágenes con los objetos correspondientes y sus relaciones. En todos los casos, su modelo superó a los resultados de referencia.
También pidieron a personas que valoraran si las imágenes generadas se correspondían con la descripción original. En los ejemplos más complejos, en los que las descripciones contenían tres relaciones, el 91 % de los participantes concluyó que el nuevo modelo funciona mejor.
«Una cosa interesante que descubrimos es que, con nuestro modelo, podemos ampliar la frase de una descripción a dos, tres o incluso cuatro descripciones, y nuestro enfoque sigue generando imágenes que se describen correctamente con las relaciones, mientras que otros métodos fallan»
Los investigadores también mostraron imágenes modelo de escenas que el sistema no había visto antes, junto con varias descripciones de texto distintas de cada imagen, y lograron identificar con éxito la descripción que mejor correspondía a las relaciones entre los objetos de la imagen.
Cuando los investigadores dieron al sistema dos descripciones de escenas relacionales que describían la misma imagen, pero de forma diferente, el modelo logró entender que las descripciones eran equivalentes. Los científicos quedaron impresionados por la fiabilidad de su sistema, especialmente al trabajar con descripciones que nunca antes había encontrado.
«Esto es muy prometedor, porque se acerca más a la forma en que funcionan las personas. Las personas pueden ver solo unos pocos ejemplos, pero somos capaces de extraer información útil de esos pocos ejemplos y combinarla para crear un número infinito de combinaciones. Y nuestro modelo tiene esa propiedad, que le permite aprender con menos datos, pero generalizar a escenas o generaciones de imágenes más complejas»
Aunque estos primeros resultados son alentadores, los investigadores quieren ver cómo funciona su modelo con imágenes reales más complejas, con fondos ruidosos y objetos que se bloquean entre sí.
También les interesa integrar en última instancia su modelo en sistemas robóticos, lo que permitiría a un robot determinar las relaciones entre los objetos y, después, aplicar ese conocimiento para manipular objetos en el mundo real.
«Desarrollar representaciones visuales capaces de tratar la naturaleza composicional del mundo que nos rodea es uno de los principales problemas abiertos de la visión artificial. Esta investigación ha avanzado significativamente en la resolución de este problema, al proponer un modelo basado en energía que modela explícitamente múltiples relaciones entre los objetos representados en una escena. Los resultados son realmente impresionantes»
