Un journaliste de Wired entraîne un Microduck virtuel à repérer des chats avec le GPT-6 Sol d'OpenAI
Un journaliste de Wired affirme avoir utilisé le modèle GPT-6 Sol d'OpenAI pour entraîner une version simulée du robot Microduck, conçu par Pollen Robotics et Hugging Face, à se déplacer dans une pièce et à repérer des chats bengal. Dans une édition de sa lettre d'information, Will Knight a indiqué que la programmation et l'entraînement n'avaient pris que quelques heures, un travail qui, selon lui, aurait pu demander des semaines auparavant.
Knight attend toujours un Microduck physique. Il affirme que le comportement appris en simulation est relativement simple et devrait se transposer au vrai robot. Il prévoit de lui faire distribuer une friandise à son chat bengal, Leona, peut-être en lui faisant baisser la tête pour libérer une friandise d'un compartiment de stockage imprimé en 3D monté sur lui.
Comment s'est déroulé l'entraînement
Knight a associé le GPT-6 Sol à Hermes, un cadre agentique de Nous Research, et à un Nvidia DGX Spark, un ordinateur personnel doté d'une puce d'IA puissante. Selon Knight, le modèle a fait plus que rédiger du code : il a utilisé le logiciel Isaac Sim de Nvidia pour envoyer des instructions à un modèle contrôlant le robot virtuel, a visionné des vidéos des résultats pour évaluer les progrès et a proposé des modifications de l'approche d'entraînement.
Le processus a appris au Microduck à marcher sans tomber. Une tentative de lui apprendre le moonwalk, à partir d'un GIF de Michael Jackson, s'est arrêtée après des heures d'efforts, sur ce que Knight a appelé « un jogging arrière très guilleret ».
Knight a averti que rendre les robots fiables reste très difficile et exige une expertise d'ingénierie importante. Le système de vision de son robot n'est pas assez bon pour un produit réel, a-t-il écrit.
Des chercheurs voient une utilisation plus large
Knight a cité les travaux de Ken Goldberg, professeur à l'université de Californie à Berkeley, dont les étudiants ont testé le modèle Astra d'OpenAI après sa sortie en septembre. Un membre du laboratoire a connecté Astra à Newton, un outil de Nvidia, a fourni un extrait d'un robot réel en action et a demandé au modèle de construire une simulation de cette scène.
« Ce qui nous a tous bluffés, c'est qu'en moins d'une heure il a produit une simulation 3D complète avec tous les paramètres définis — la position de la caméra, l'éclairage, l'arrière-plan, tous les matériaux, »
Goldberg a aussi affirmé qu'Astra peut automatiser une grande partie du travail fastidieux de l'entraînement en simulation, en lançant des expériences et en analysant les résultats. Selon Knight, plusieurs entreprises de robotique et d'automatisation industrielles ont manifesté leur intérêt pour cette approche.
Jim Fan, chercheur chez Nvidia qui a travaillé avec Goldberg, affirme que les modèles d'IA peuvent désormais contrôler des robots de la même façon que des agents logiciels. Les grands modèles de langage peuvent faire appel à des modèles vision-langage-action, entraînés à contrôler des actions physiques, un peu comme ils utilisent différents programmes sur un ordinateur.
Cette semaine, Fan, Goldberg et d'autres ont publié Aspire, un cadre agentique open source qui permet à un robot de découvrir et d'utiliser de nouvelles compétences. Dans un exemple, GPT-6 Astra a trouvé comment utiliser deux bras robotiques pour résoudre un Rubik's Cube. Fan a aussi donné une conférence plénière à la Conférence sur l'apprentissage robotique, à Austin, au Texas, où il a montré Astra dirigeant un bras robotique pour peindre le pont du Golden Gate.
