LiberAI dévoile Liber-0, un modèle de robot entraîné sur 2,2 millions d'heures d'expérience humaine

La start-up pékinoise LiberAI a présenté Liber-0, un modèle d'action du monde préentraîné sur plus de 2,2 millions d'heures d'expérience humaine, destiné à la manipulation robotique sans démonstrations robotiques propres à chaque tâche, selon The Robot Report. L'entreprise a annoncé le modèle le 4 novembre.

LiberAI indique que Liber-0 combine des vidéos humaines, des mouvements de la main enregistrés par un gant et un apprentissage conditionné par l'incarnation, c'est-à-dire que le modèle est informé du corps qui réalise une action, afin de transférer les compétences de manipulation humaines aux robots.

Résultats des tests en zero-shot

LiberAI a évalué le modèle sur une série de 60 tâches proposées par GPT-6 : 20 tâches de saisie et de dépose, 20 autres tâches de manipulation et 20 tâches difficiles à horizon long. Parmi les exemples figuraient placer un stylo dans une trousse et refermer un tiroir en le poussant.

L'entreprise rapporte des taux de réussite de 63,5 % pour les tâches de saisie et de dépose, de 34,0 % pour les autres tâches de manipulation et de 10,5 % pour les tâches les plus difficiles, soit un taux global de 36,0 % sur 600 essais. Ici, zero-shot signifie que le point de contrôle testé n'a pas été entraîné sur des démonstrations robotiques collectées spécifiquement pour ces tâches, même si le préentraînement comprenait des données robotiques.

Comment le modèle relie vidéo humaine et action robotique

LiberAI affirme qu'une vidéo humaine ne peut pas être transformée directement en commandes robotiques. Selon l'entreprise, les positions de caméra varient, les poses de la main estimées à partir des images sont imprécises et les corps humains bougent d'une manière différente de celle des robots.

Pour y remédier, l'entreprise utilise un gant de collecte de données appelé LiberSense Glove, qui enregistre directement les mouvements de la main. Elle utilise aussi une plateforme robotique dont les vues de caméra et les mouvements de la main, du poignet et de la taille se rapprochent davantage de ceux des humains, ainsi qu'une représentation d'incarnation unifiée qui fournit des informations sur la forme du corps et le mouvement des articulations. Liber-0 prédit conjointement les futures images vidéo et les actions, ce qui lui permet d'apprendre à partir de vidéos ordinaires sans étiquettes d'action.

« La vidéo humaine montre ce que font les gens, mais pas exactement comment bougent leurs mains ni comment ce mouvement s'adapte à un corps différent, »

Songming Liu, fondateur et PDG de LiberAI

Besoin réduit de démonstrations robotiques

Dans une expérience distincte portant sur huit tâches, LiberAI indique qu'une politique entraînée sur 25 % du lot de démonstrations robotiques, auquel s'ajoute l'intégralité du lot de gant, a atteint un score de progression de 75,6, contre 72,8 pour une politique entraînée sur l'ensemble du lot robotique. Cela représente des performances comparables avec 75 % de démonstrations robotiques en moins, même si la politique mixte a tout de même utilisé la totalité des données du gant.

Dans un autre test contrôlé, une politique entraînée uniquement sur des démonstrations robotiques de saisie et de dépose a obtenu un score de 2,2 sur les tâches autres que la saisie et la dépose. L'ajout d'enregistrements au gant de ces actions a porté le score à 47,5.

Limites

LiberAI souligne que le gant capture les poses et trajectoires de la main, mais ne mesure ni le toucher ni la force. Ces signaux sont importants pour des tâches comme l'insertion, la fixation ou la manipulation de matières souples. L'entreprise cite la détection tactile et de force, ainsi que la collecte de données dans un plus grand nombre de foyers, parmi ses pistes de recherche futures.