Des essaims de robots entraînés en simulation fonctionnent sur de vrais robots, selon une étude
L'IRIDIA, le laboratoire d'intelligence artificielle de l'Université libre de Bruxelles, présente une méthode permettant de transposer sur des machines physiques les comportements que des essaims de robots apprennent dans un logiciel. Selon l'équipe, les essaims entraînés avec cette méthode ont continué de fonctionner de façon fiable sur de vrais robots. Les résultats ont été publiés dans Science Robotics.
L'apprentissage par renforcement permet aux machines de découvrir des comportements par essais répétés, généralement dans un simulateur. Le problème, que les chercheurs appellent « écart de réalité », tient aux frottements, aux capteurs bruités et aux mécanismes imparfaits, qui diffèrent entre un simulateur et le monde physique : les compétences apprises dans un logiciel échouent donc souvent sur le matériel.
La robotique en essaim suit une autre voie. Ses méthodes de conception modulaires construisent des comportements à partir de blocs prédéfinis, qui, selon les chercheurs, se transfèrent de façon fiable sur les vraies machines, mais reposent sur des procédures de recherche lentes et coûteuses. Les deux approches avaient rarement été comparées de manière rigoureuse.
Plutôt que de laisser l'algorithme régler la vitesse de chaque roue, les chercheurs lui ont fait choisir, étape par étape, parmi quelques comportements éprouvés, dont le cap vers une lumière, le rapprochement avec les autres robots et l'exploration. Limiter ainsi les robots, selon eux, les empêche d'apprendre des raccourcis qui n'existent que dans le simulateur.
« Depuis des années, nous soutenons que l'écart de réalité est, fondamentalement, un problème de surapprentissage : une méthode de conception trop souple apprend le simulateur plutôt que la tâche, »
Au fil de cinq missions collectives, les chercheurs ont mené 250 expériences sur des robots physiques, avec un essaim de 20 robots e-puck. Selon l'équipe, les essaims entraînés de cette façon ont bien fonctionné dans le réel et ont nettement surpassé une méthode de référence, dans laquelle l'algorithme commande directement les moteurs. Cette approche concurrente a peiné une fois sortie du simulateur.
Un autre résultat : les politiques de contrôle contraintes et plus simples ont mieux été transférées sur les robots réels que des politiques plus grandes et plus adaptables. Ce constat va à l'encontre d'une hypothèse courante en IA, selon laquelle des modèles plus grands et plus souples donnent généralement de meilleurs résultats.
« Ce qui me motive, c'est que cela fait de l'apprentissage par renforcement un outil pratique pour la robotique en essaim, »
Gharbi indique que la prochaine étape consiste à tester des essaims plus grands sur d'autres plateformes robotiques et dans des environnements moins contrôlés. Les auteurs présentent ce travail comme un rapprochement entre deux courants de recherche qui s'étaient largement développés séparément, et estiment que les deux sont nécessaires avant que des équipes de robots autonomes puissent intervenir dans la recherche et le sauvetage ou la surveillance de l'environnement.