Facebook va apprendre aux robots à sortir les poubelles et à vider le lave-vaisselle
À l'été 2021, Facebook a annoncé une nouvelle étape dans sa quête de ce qu'elle appelle « embodied AI » — une technologie qui permettra un jour aux robots d'accomplir des tâches quotidiennes, comme remplir le réfrigérateur ou sortir les poubelles.
L'entreprise a présenté Habitat 2.0 — une mise à jour de la plateforme de modélisation d'environnements, qui permet aux chercheurs d'entraîner leurs robots à grande vitesse dans des environnements virtuels reproduisant avec une précision maximale les moindres détails que les machines peuvent rencontrer dans des conditions ordinaires (par exemple, dans une cuisine ou un salon).
En permettant aux robots de se déplacer librement dans les environnements simulés Habitat, les chercheurs réalisent une économie évidente d'argent et de temps par rapport à un entraînement dans des conditions réelles. Facebook espère que la plateforme accélérera le développement de robots d'assistance qui aideront les gens dans les tâches ménagères.
Depuis de nombreuses années, Facebook travaille à promouvoir l'« embodied AI », qui se concentre sur l'entraînement de robots polyvalents capables de se déplacer dans le monde réel aux côtés des humains, en réagissant à des environnements inconnus auparavant ou à des objets inattendus rencontrés sur leur chemin.
Cela pourrait signifier que les robots domestiques pourront apporter des objets à leurs propriétaires sur commande et charger le lave-vaisselle. Mais cela ouvrira aussi la porte à des technologies plus sérieuses, comme un robot-guide aidant les personnes malvoyantes à se déplacer en extérieur. Pour aider les machines à accomplir des tâches utiles dans le monde réel, il faut leur offrir une expérience dans des centaines d'environnements réels différents, avec des jouets d'enfants éparpillés par terre et des coins de tapis retournés.
C'est là que la simulation peut changer la donne. Les scientifiques de Facebook estiment que, plutôt que de transporter un robot physique dans différents appartements, maisons et bureaux pendant de longs mois et années, une approche bien plus pragmatique consiste à exposer l'IA à des environnements virtuels pour accélérer l'apprentissage. Il y a deux ans, l'entreprise a présenté la première version de Habitat, qui comprenait le jeu de données Replica — une compilation de 18 scans 3D d'espaces (des salles de conférence de bureau aux maisons à deux étages).
Replica était une bibliothèque de configurations ultra-réalistes, qui montrait certains des détails les plus fins de chaque lieu, des reflets dans les miroirs aux textures des tapis. Cependant, il s'agissait d'un jeu de données statique : le robot pouvait se déplacer dans l'espace virtuel, mais ne pouvait interagir avec aucun des objets.
Avec Habitat 2.0, l'entreprise s'est attaquée à ce problème. Désormais, les robots peuvent non seulement se déplacer dans les environnements virtuels de la nouvelle plateforme, mais aussi interagir avec les objets qu'ils peuvent trouver dans une cuisine ordinaire, une salle à manger ou tout autre espace utilisé par les gens.
« Grâce à ce nouveau jeu de données et à cette plateforme, les chercheurs en IA peuvent dépasser le simple fait de créer des agents virtuels dans des environnements tridimensionnels statiques et se rapprocher de la création de robots capables d'accomplir facilement et de manière fiable des tâches utiles, comme remplir le réfrigérateur, charger le lave-vaisselle ou apporter des objets sur commande »
Replica a également reçu une mise à jour appelée ReplicaCAD, qui prend en charge le déplacement et la manipulation d'objets. ReplicaCAD est le fruit de plus de 900 heures de travail d'artistes 3D, qui ont créé 111 agencements uniques d'espaces de vie, comprenant 92 objets. Une attention particulière a été portée à la composition des matériaux, à la géométrie et à la texture des objets, ainsi qu'à la question de savoir si les objets disposent de mécanismes particuliers, comme l'ouverture et la fermeture des portes des réfrigérateurs.
Les artistes sont allés jusqu'à reproduire un désordre réaliste, avec des ustensiles de cuisine, des livres et des meubles. La plateforme est encore loin d'être parfaite : par exemple, ReplicaCAD ne prend pas en charge la dynamique non rigide, comme les liquides, les tissus et les cordes, et n'inclut pas la reconnaissance sonore et tactile. Néanmoins, Habitat 2.0 permet aux robots d'accomplir virtuellement de nombreuses tâches, allant du dressage de la table au rangement du réfrigérateur, au nettoyage de la maison et à d'autres tâches ménagères courantes.
Facebook n'est pas la seule entreprise à s'intéresser à la modélisation virtuelle de l'« embodied AI ». Par exemple, en 2021, l'Institut Allen de Seattle a publié ManipulaTHOR — une main robotisée virtuelle sophistiquée, capable de manipuler des objets dans plus de 100 environnements simulés. Cependant, Facebook pourrait marquer des points supplémentaires dans cette compétition, car la vitesse de Habitat 2.0 est deux fois supérieure à celle de la plupart des simulateurs 3D actuellement accessibles aux chercheurs.
« Une telle vitesse réduit considérablement le temps nécessaire, permettant aux chercheurs de mener en deux jours des expériences qui prendraient normalement plus de six mois. La réduction de la durée des expériences permettra aux chercheurs de tester de nouvelles idées beaucoup plus rapidement et plus souvent, ce qui conduira à l'achèvement d'un plus grand nombre de simulations et ouvrira la voie à de meilleurs progrès dans ce domaine »
L'équipe de recherche de Facebook doit encore parcourir un long chemin avant que Habitat n'atteigne son plein potentiel. La vitesse peut bien sûr toujours être améliorée, mais il reste une autre tâche clé : relier différentes choses entre elles. Bien que les robots puissent aujourd'hui être entraînés à des compétences individuelles, comme ramasser, installer ou ouvrir un tiroir, il reste à leur apprendre à accomplir bon nombre de ces tâches et à les enchaîner sans accumuler d'erreurs, ce qui limite encore considérablement l'utilité de la technologie.
Facebook cherche également à étendre ReplicaCAD et à inclure davantage d'espaces de vie reflétant différentes cultures et types d'objets. À cette fin, l'entreprise a ouvert Habitat aux ressources 3D de tiers et a annoncé un partenariat avec la société Matterport, spécialisée dans les données spatiales.
