Des chercheurs du MIT ont créé un système pour concevoir et entraîner des robots mous intelligents
Imaginez que vous vouliez créer le meilleur robot du monde pour monter les escaliers. Vous devriez optimiser à la fois le cerveau et le corps, en dotant peut-être le robot de plusieurs jambes et pieds de haute technologie, combinés à un algorithme puissant pour la montée.
Si la conception du corps physique et de son cerveau (le « contrôle ») sont des éléments clés qui permettent au robot de bouger, les environnements de référence existants ne privilégient que le second. L'optimisation conjointe des deux éléments est difficile : il faut beaucoup de temps pour entraîner différents modèles de robots à faire différentes choses, même sans élément de conception.
Des scientifiques du Laboratoire d'informatique et d'intelligence artificielle du Massachusetts Institute of Technology (CSAIL) ont cherché à combler cette lacune en développant « Evolution Gym », un système de test à grande échelle pour l'optimisation conjointe de la conception et du contrôle des robots mous, puisant son inspiration dans la nature et les processus évolutifs.
Les robots du simulateur ressemblent un peu à des éléments mobiles mous de Tetris, composés de « cellules » molles, rigides et motorisées disposées sur une grille, utilisées pour marcher, grimper, manipuler des objets, changer de forme et naviguer sur des terrains denses. Pour tester les capacités d'un robot, l'équipe a développé ses propres algorithmes de conception conjointe, en associant des méthodes standard d'optimisation de conception et des méthodes d'apprentissage par renforcement profond (RL).
L'algorithme de conception conjointe fonctionne comme un duo de forces, où les méthodes d'optimisation de la structure font évoluer le corps du robot, tandis que les algorithmes RL optimisent le contrôleur (le système informatique qui se connecte au robot pour piloter ses mouvements) pour la conception proposée. L'optimisation de la conception demande : « Dans quelle mesure la conception fonctionne-t-elle bien ? », et l'optimisation du contrôle donne une note qui peut ressembler à « cinq pour la marche ».
Le résultat rappelle une petite olympiade pour robots. En plus de tâches standard comme la marche et le saut, les chercheurs ont aussi inclus des tâches originales, comme l'escalade, le retournement, l'équilibre et la montée d'escaliers.
Dans plus de 30 environnements différents, les robots excellaient dans des tâches simples comme marcher ou déplacer un objet, mais dans des conditions plus complexes, comme attraper ou monter, ils échouaient, révélant les limites des algorithmes actuels de conception conjointe. Par exemple, les robots optimisés présentaient parfois ce que l'équipe appelle une « frustration », c'est-à-dire un comportement manifestement non optimal dans de nombreuses tâches. Ainsi, un robot attrapeur plongeait souvent vers l'avant pour attraper un bloc qui tombait derrière lui.
Bien que les conceptions des robots aient évolué de manière autonome à partir de zéro, sans connaissances préalables des algorithmes de conception conjointe, en suivant des processus plus proches de l'évolution, elles ressemblaient souvent aux créatures naturelles existantes, surpassant les robots conçus à la main.
« En créant Evolution Gym, nous cherchons à repousser les limites des algorithmes d'apprentissage automatique et d'intelligence artificielle. En concevant un test de référence à grande échelle, axé sur la vitesse et la simplicité, nous créons non seulement un langage commun pour partager idées et résultats dans le domaine de l'apprentissage par renforcement et de la conception conjointe, mais nous permettons aussi aux chercheurs d'utiliser des ressources de calcul modernes pour contribuer au développement d'algorithmes dans ces domaines. Nous espérons que ce travail nous rapprochera d'un avenir avec des robots aussi intelligents que vous ou moi »
Dans certains cas, lorsque les robots apprennent comme les humains, la méthode essais-erreurs peut conduire à une meilleure compréhension de la tâche qui sous-tend l'apprentissage par renforcement. Les robots ont appris à accomplir une tâche comme pousser un bloc, en recevant certaines informations qui les aident : par exemple, « voir » où se trouve le bloc et à quoi ressemble le terrain environnant.
Le robot reçoit ensuite une évaluation de sa performance (une « récompense »). Plus le robot pousse le bloc, plus la récompense est élevée. Le robot doit équilibrer en même temps l'exploration (en se demandant peut-être : « Puis-je augmenter ma récompense en sautant ? ») et l'exploitation (approfondir les comportements qui augmentent la récompense).
Les différentes combinaisons de « cellules » que les algorithmes ont trouvées pour différentes conceptions se sont révélées très efficaces : l'une d'elles a donné une forme semblable à un cheval au galop, avec des structures ressemblant à des jambes, imitant ce que l'on trouve dans la nature. Le robot grimpeur a développé deux bras et deux structures ressemblant à des jambes (à la manière d'un singe) pour l'aider à se hisser. Le robot-élévateur ressemblait à une pince à deux doigts.
L'une des pistes de recherche futures est le « développement morphologique » : le robot devient progressivement plus intelligent à mesure qu'il acquiert de l'expérience dans la résolution de tâches de plus en plus complexes. Par exemple, vous commencerez par optimiser un robot simple pour la marche, puis vous reprendrez la même conception, l'optimiserez pour le transport de charges, et ensuite lui ferez gravir un escalier. Avec le temps, le corps et le cerveau du robot « se transforment » en un système capable de résoudre des tâches plus complexes que des robots entraînés directement à ces mêmes tâches dès le départ.
« Evolution Gym s'inscrit dans une prise de conscience croissante au sein de la communauté de l'IA : le corps et le cerveau sont des partenaires à égalité dans la production d'un comportement intelligent. Il reste énormément à faire pour comprendre ce qui façonne ce partenariat. Ce gymnase deviendra probablement un outil important pour aborder ces questions »
Evolution Gym est open source et gratuit à utiliser. C'est un choix délibéré, car les chercheurs espèrent que leur travail inspirera la création de nouveaux algorithmes de codage, plus performants.
