Wired记者借助OpenAI的GPT-6 Sol训练虚拟Microduck机器人识别猫咪
一位Wired记者称,他借助OpenAI的GPT-6 Sol模型,训练了由Pollen Robotics和Hugging Face开发的Microduck机器人模拟版本,使其能在房间里走动并识别孟加拉猫。在一期新闻通讯中,威尔·奈特表示,编程和训练仅用了几个小时,他称这项工作此前可能要花上数周。
奈特仍在等待实体版Microduck。他表示,在模拟中学到的行为相对简单,应当可以迁移到真实机器人上。他计划让它为自己的宠物孟加拉猫莉奥娜投放零食:机器人可能会低头,从安装在身上的3D打印存储舱中取出一份零食。
训练过程
奈特将GPT-6 Sol与Nous Research推出的智能体框架Hermes搭配使用,并配合了一台配备强大AI芯片的个人电脑Nvidia DGX Spark。据奈特称,该模型的作用不止于编写代码:它还借助Nvidia的Isaac Sim软件,向控制虚拟机器人的模型发送指令,观看结果视频以评估进展,并就训练方法提出修改建议。
这一过程让Microduck学会了走路而不摔倒。另一项尝试是利用迈克尔·杰克逊的GIF动图,教它太空步(moonwalk),耗时数小时后,以奈特所说的“非常轻快的倒退小跑”告终。
奈特提醒,要让机器人稳定可靠地工作仍然非常困难,需要大量工程专业知识。他写道,他那台机器人的视觉系统还不足以用于真正的产品。
研究人员看到了更广泛的应用
奈特提到了加州大学伯克利分校教授肯·戈德堡的工作。戈德堡的学生在OpenAI的Astra模型于9月发布后进行了尝试。一位实验室成员将Astra与Nvidia工具Newton连接,提供了一段真实机器人工作的片段,并要求模型搭建该场景的模拟。
“最让我们所有人震惊的是,它在一小时内就生成了完整的三维模拟,所有参数都已设定好——摄像机位置、灯光、背景以及所有材质,”
戈德堡还表示,Astra可以通过运行实验、检查结果,自动完成模拟训练中大量繁琐的工作。据奈特称,多家工业机器人和自动化企业对这一方法表现出兴趣。
英伟达研究员范麟熙曾与戈德堡合作,他表示,AI模型现在控制机器人的方式已与软件智能体相似。大语言模型可以调用视觉-语言-动作模型,后者经过训练,用于控制物理动作,正如大语言模型在计算机上调用不同程序一样。
本周,范麟熙、戈德堡等人发布了开源智能体框架Aspire,让机器人能够发现并使用新技能。在一个示例中,GPT-6 Astra摸索出如何用两只机械臂解开魔方。范麟熙还在德克萨斯州奥斯汀举行的机器人学习会议上发表主题演讲,展示Astra指挥一只机械臂绘制金门大桥的图案。
来源
- 我在一只追逐我家猫咪的虚拟鸭子身上看到了机器人的未来 — WIRED