Investigadores del MIT crean un sistema para diseñar y entrenar robots blandos inteligentes
Imagine que quiere crear el mejor robot del mundo para subir escaleras. Tendrá que optimizar tanto el cerebro como el cuerpo, quizás dotando al bot de varias piernas y pies de alta tecnología combinados con un potente algoritmo para subir.
Aunque el diseño del cuerpo físico y del cerebro («control») son componentes clave que permiten a un robot moverse, los entornos de referencia existentes solo favorecen al segundo. Optimizar ambos elementos de forma conjunta resulta difícil: se necesita mucho tiempo para entrenar a distintos modelos de robots para hacer cosas diferentes, incluso sin un elemento de diseño.
Científicos del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del Instituto Tecnológico de Massachusetts (CSAIL) quisieron cubrir este vacío desarrollando «Evolution Gym», un sistema de pruebas a gran escala para la optimización conjunta del diseño y el control de robots blandos, inspirado en la naturaleza y en los procesos evolutivos.
Los robots del simulador se parecen un poco a las piezas blandas y móviles del tetris, compuestas por «celdas» blandas, rígidas y accionadas sobre una cuadrícula, que se usan para caminar, trepar, manipular objetos, cambiar de forma y desplazarse por terrenos irregulares. Para probar las capacidades del robot, el equipo desarrolló sus propios algoritmos de diseño conjunto, combinando métodos estándar de optimización del diseño y métodos de aprendizaje por refuerzo (RL).
El algoritmo de diseño conjunto funciona como una pareja de fuerza, en la que los métodos de optimización del diseño desarrollan los cuerpos de los robots, y los algoritmos de RL optimizan el controlador (el sistema informático que se conecta al robot para controlar sus movimientos) para el diseño propuesto. La optimización del diseño pregunta: «¿Qué tan bien funciona el diseño?», mientras que la optimización del control produce una puntuación que puede parecer «cinco por caminar».
El resultado recuerda a una pequeña olimpiada para robots. Además de las tareas estándar, como caminar y saltar, los investigadores incluyeron también algunas tareas únicas, como trepar, dar volteretas, mantener el equilibrio y subir escaleras.
En más de 30 entornos distintos, los robots se desenvolvieron muy bien con tareas sencillas, como caminar o transportar un objeto, pero en condiciones más complejas, como atrapar y subir, no lograron el objetivo, lo que mostró las limitaciones de los algoritmos actuales de diseño conjunto. Por ejemplo, a veces los robots optimizados mostraban lo que el equipo llama «frustración», es decir, un comportamiento evidentemente no óptimo en muchas tareas. Por ejemplo, un robot receptor a menudo se lanzaba hacia delante para atrapar un bloque que caía detrás de él.
Aunque los diseños de los robots evolucionaron de forma autónoma desde cero y sin conocimientos previos de algoritmos de desarrollo conjunto, avanzando hacia procesos más evolutivos, con frecuencia terminaron pareciéndose a seres naturales existentes, superando a los robots creados a mano.
«Al crear Evolution Gym, nos proponemos ampliar los límites de los algoritmos de aprendizaje automático e inteligencia artificial. Al crear una prueba de referencia a gran escala centrada en la velocidad y la sencillez, no solo creamos un lenguaje común para compartir ideas y resultados en el aprendizaje por refuerzo y el diseño conjunto, sino que también damos a los investigadores la posibilidad de utilizar recursos informáticos modernos para contribuir al desarrollo de algoritmos en estas áreas. Esperamos que nuestro trabajo nos acerque un paso más a un futuro con robots tan inteligentes como usted o yo»
En algunos casos, cuando los robots aprenden como lo hacen las personas, el método de ensayo y error puede llevar a una mejor comprensión de la tarea que subyace al aprendizaje por refuerzo. Los robots aprendieron a realizar una tarea como empujar un bloque, recibiendo cierta información que les ayuda: por ejemplo, «ver» dónde está el bloque y cómo es el terreno cercano.
Después, el robot recibe alguna valoración de lo bien que lo hace («recompensa»). Cuanto más empuja el robot el bloque, mayor es la recompensa. El robot debe equilibrar al mismo tiempo la exploración (preguntándose quizás: «¿Puedo aumentar la recompensa saltando?») y la explotación (seguir estudiando el comportamiento que aumenta la recompensa).
Las distintas combinaciones de «celdas» que los algoritmos idearon para diferentes diseños resultaron muy eficaces: una de ellas se convirtió en algo parecido a un caballo saltando, con estructuras similares a patas que imitan lo que se encuentra en la naturaleza. El robot escalador desarrolló dos brazos y dos estructuras parecidas a piernas (como un mono) para ayudarse a subir. El robot elevador se parecía a una pinza de dos dedos.
Una de las direcciones de la investigación futura es el llamado «desarrollo morfológico», en el que un robot se vuelve gradualmente más inteligente a medida que adquiere experiencia resolviendo tareas más complejas. Por ejemplo, primero optimizarías un robot sencillo para caminar, luego tomarías ese mismo diseño, lo optimizarías para transportar cargas y después para subir escaleras. Con el tiempo, el cuerpo y el cerebro del robot se «transforman» en algo capaz de resolver tareas más complejas que los robots entrenados directamente para esas mismas tareas desde el principio.
«Evolution Gym forma parte de una creciente conciencia en la comunidad de la IA de que el cuerpo y el cerebro son socios iguales a la hora de sustentar el comportamiento inteligente. Todavía queda mucho por hacer para averiguar qué da forma a esta asociación. El gimnasio probablemente se convertirá en una herramienta importante para abordar estas cuestiones»
Evolution Gym es de código abierto y se puede usar de forma gratuita. Esto se ha hecho a propósito, ya que los investigadores esperan que su trabajo inspire algoritmos nuevos y mejorados de diseño de código.
