NeatNet, un système qui aide les robots à apprendre les préférences humaines en matière de rangement
Les robots devenant de plus en plus performants et accessibles, de plus en plus de personnes pourront commencer à les intégrer chez elles. C'est pourquoi de nombreux roboticiens tentent de concevoir des systèmes capables d'aider efficacement les gens dans les tâches ménagères, comme la cuisine et le rangement.
Des chercheurs du laboratoire d'apprentissage robotique de l'Imperial College London ont développé NeatNet, un outil innovant d'apprentissage automatique qui peut permettre aux robots de ranger l'environnement domestique selon les préférences individuelles de l'utilisateur. Ce modèle, présenté dans un article sur arXiv, repose sur une nouvelle architecture d'autoencodeur variationnel doté de couches de réseau de neurones graphiques.
« Chacun aménage son domicile de manière unique et personnelle, influencée par le goût esthétique, les habitudes et même l'origine culturelle. Nous avons mis au point une méthode permettant d'apprendre les préférences des gens en matière d'agencement de leur logement, afin que le robot puisse ranger leur maison de façon personnalisée »
NeatNet, une méthode mise au point par le docteur Jones et son élève Ivan Kapeliukh, permet aux robots de découvrir les préférences de rangement propres à chaque utilisateur, simplement en observant la façon dont il dispose les meubles et les objets dans son logement. Le robot peut ensuite utiliser ces préférences comme guide pour ranger le domicile de l'utilisateur, en reflétant ses préférences.
Jones explique : « Supposons par exemple que vous préfériez que votre table soit rangée de manière compacte, pour que tout soit facilement accessible. Vous pourriez vouloir que le robot apprenne cette préférence. Une fois que le robot aura rangé la table, elle sera organisée comme vous le souhaitez. »
NeatNet s'inspire des systèmes de recommandation, des outils d'apprentissage automatique utilisés par les plateformes de streaming (comme Netflix, YouTube, Spotify) ou d'autres sites web pour suggérer de nouveaux contenus aux utilisateurs. Les systèmes de recommandation fonctionnent en apprenant les préférences des utilisateurs à partir des contenus qu'ils ont regardés, écoutés ou consultés par le passé.
Les chercheurs ont précisé : « Si un nouveau film a été regardé par de nombreux utilisateurs ayant des goûts proches des vôtres, Netflix peut vous le recommander à vous aussi. C'est ainsi que ces méthodes fournissent des recommandations personnalisées. »
Ce nouvel outil, similaire aux recommandations, destiné à apprendre les préférences de rangement, a été développé à partir de la thèse de Kapeliukh à l'Imperial College London, supervisée par le docteur Jones. Kapeliukh a présenté un nouvel article avec son directeur de thèse lors de la conférence sur l'apprentissage robotique (CoRL), qui s'est tenue à Londres du 8 au 11 novembre 2021.
« Jusqu'à présent, nous avons présenté nos résultats à l'aide de simulations informatiques du robot et de son environnement, mais dans nos travaux futurs, nous prévoyons de l'appliquer à un robot réel dans le monde réel », a déclaré Jones.
En substance, NeatNet traite les scènes qui ont été rangées par les utilisateurs. À partir de ces scènes, il apprend les préférences de rangement de l'utilisateur, représentées sous la forme d'une séquence de nombres. Enfin, il utilise ces séquences numériques pour disposer de manière personnalisée n'importe quel groupe d'objets.
« Comme le robot ne sait pas à l'avance combien d'objets il rencontrera, NeatNet utilise un réseau de neurones graphiques pour le traitement. Cela signifie qu'au lieu d'apprendre directement à partir des images de l'espace, il le modélise sous forme de graphe, où chaque objet est un nœud (ou point) et où tous les nœuds sont reliés entre eux »
Grâce au réseau de neurones graphiques, NeatNet peut également apprendre les relations entre différents objets. Par exemple, il peut apprendre que le clavier et la souris sont généralement placés côte à côte, ou que les couverts sont posés sur le côté des assiettes.
Au-delà de l'apprentissage des relations générales entre objets, NeatNet apprend aussi les préférences individuelles des utilisateurs. Par exemple, le système peut apprendre de quel côté de l'assiette les utilisateurs posent habituellement leurs couverts, car les gauchers et les droitiers peuvent avoir des préférences différentes.
Le docteur Jones et Kapeliukh ont évalué leur technique au cours d'une série d'expériences, en utilisant des exemples de pièces rangées à l'aide d'un simulateur de rangement, qui reflétaient les préférences de 75 utilisateurs différents. Lors de ces tests, NeatNet a systématiquement produit un rangement des pièces soigné et personnalisé.
« Nous avons constaté que ranger les pièces de manière personnalisée était plus agréable pour les utilisateurs que de simplement ranger de la même façon pour tous. Cela était vrai même pour des espaces simples, et dans les vraies maisons, qui comptent des centaines d'objets, il existe bien plus de façons de ranger chaque pièce »
Lorsque les robots deviendront plus répandus, leur capacité à accomplir des tâches d'une manière cohérente avec les préférences de chaque utilisateur pourrait être particulièrement précieuse. Ainsi, NeatNet pourrait se révéler particulièrement utile pour améliorer les performances des assistants domestiques et des robots.
« Une autre découverte intéressante est que, même si le réseau de neurones représente les préférences de l'utilisateur sous la forme d'une séquence de nombres, nous avons tout de même pu identifier certaines régularités significatives. Par exemple, NeatNet a choisi de regrouper séparément les utilisateurs gauchers et droitiers en fonction de la façon dont ils ont agencé la table de salle à manger. Cela éclaire un peu le fonctionnement interne du modèle, ce qui est souvent difficile à déterminer avec les réseaux de neurones »
Jusqu'à présent, NeatNet n'a été testé qu'en simulation, mais elle a donné des résultats prometteurs. Les scientifiques mènent actuellement des recherches complémentaires visant à appliquer et évaluer leur méthode sur de vrais robots.
Les chercheurs ont expliqué : « Nous utiliserons les caméras du robot (« les yeux du robot ») pour déterminer où se trouvent les objets dans la pièce. Nous examinerons également comment garantir que les dispositions proposées restent toujours sûres, conformément aux lois de la physique. Par exemple, une assiette ne doit pas tomber du bord de la table. Nous étudierons aussi des méthodes qui tiennent compte du temps dont le robot aura besoin pour achever ce rangement. Au lieu de ranger toute la maison, par exemple, nous pourrions souhaiter que le robot ne range que quelques objets qui sont très mal placés. »
