ES
Buscar
Foto: Robohub

Enjambres entrenados en simulación rinden en robots reales

IRIDIA, el laboratorio de inteligencia artificial de la Universidad Libre de Bruselas, presenta un método para trasladar a máquinas físicas los comportamientos que los enjambres de robots aprenden en software. Según el equipo, los enjambres entrenados con ese método siguieron funcionando de forma fiable en robots reales. Los resultados se publican en Science Robotics.

El aprendizaje por refuerzo permite a las máquinas descubrir comportamientos mediante intentos repetidos, normalmente dentro de un simulador. El problema es lo que los investigadores llaman «brecha de la realidad»: la fricción, los sensores con ruido y las mecánicas imperfectas difieren entre un simulador y el mundo físico, por lo que las habilidades aprendidas en software a menudo fallan en el hardware.

La robótica de enjambres ha seguido otro camino. Sus métodos de diseño modular construyen comportamientos a partir de bloques predefinidos, que, según los investigadores, se trasladan de forma fiable a máquinas reales, pero dependen de procesos de búsqueda lentos y costosos. Pocas veces se habían comparado ambos enfoques con rigor.

En lugar de dejar que el algoritmo fije la velocidad de cada rueda, los investigadores le hicieron elegir, paso a paso, entre unos pocos comportamientos probados, como dirigirse hacia una luz, unirse a sus pares y explorar. Según explicaron, esta limitación impide que los robots aprendan atajos que solo existen en el simulador.

«Llevamos años defendiendo que la brecha de la realidad es, en esencia, un problema de sobreajuste: un método de diseño demasiado flexible aprende el simulador en lugar de la tarea,»

Mauro Birattari, que dirigió la investigación

En cinco misiones colectivas, los investigadores realizaron 250 experimentos con robots físicos, usando un enjambre de 20 robots e-puck. Según el equipo, los enjambres entrenados de este modo se trasladaron de forma fiable y superaron de forma notable a un método líder en el que el algoritmo controla los motores directamente. El enfoque rival tuvo dificultades una vez que salió del simulador.

Otro hallazgo fue que las políticas de control más sencillas y restringidas se trasladaban mejor a los robots reales que las más grandes y adaptables. El resultado contradice una idea habitual en la IA, según la cual los modelos más grandes y flexibles suelen funcionar mejor.

«Lo que me entusiasma es que esto convierte el aprendizaje por refuerzo en una herramienta práctica para la robótica de enjambres,»

Ilyes Gharbi, primer autor del estudio

Gharbi explicó que el siguiente paso es probar enjambres más grandes en otras plataformas robóticas y en entornos menos controlados. Los autores presentan el trabajo como la unión de dos tradiciones de investigación que se habían desarrollado en gran medida por separado, y señalan que ambas son necesarias antes de que equipos de robots autónomos puedan encargarse de búsqueda y rescate o de monitorización medioambiental.

Fuente