英伟达在CoRL大会上发布GR00T 2机器人模型和Isaac Lab 3.0仿真框架
英伟达在美国得克萨斯州奥斯汀举行的机器人学习大会(CoRL)上发布了更新后的机器人开放世界动作模型 GR00T 2,以及新版开源机器人学习框架 Isaac Lab 3.0。
据英伟达称,该公司使用机器人数据和人类数据的混合集训练了 GR00T 2,其中包括其自有的 100,000 小时开源第一人称视角数据,以帮助机器人学习灵巧操作。英伟达称,在 50 项评估任务中,该模型有 40 项至少一次无需任务专属示范即可完成。在每项任务只有一次示范的情况下,该模型 50 项任务的平均成功率为 71%;示范增加到 5 次时,成功率升至 95%。
英伟达还表示,GR00T 2 可以从人类示范中学习,并且无需机器人示范即可在不同机器人本体之间迁移技能。据该公司称,AI 智能体可以借助其编程接口和配套工具,按顺序执行技能,并从错误中恢复。该公司称,该模型在视觉-语言-动作模型和世界动作模型两类中,于 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 基准测试中均位列前三。
Isaac Lab 3.0 与物理仿真
Isaac Lab 3.0 可让研究人员借助智能体搭建训练环境,使用可直接用于仿真的资产,并在 PhysX 与 Newton 物理求解器之间切换,还可为基于感知的训练选择渲染器。英伟达称,该版本还新增了强化学习后训练库,用于 GR00T 等基础模型。
与开源物理引擎 Newton 的集成更加紧密,使 Isaac Lab 能够模拟线缆、布料等可变形物体,以及多关节机器人手等关节式系统。在一项基于视觉的灵巧操作基准测试中,据报道,搭配 Newton 的 Isaac Lab 3.0 训练吞吐量最高可达搭配 PhysX 的 Isaac Lab 2.3 的 2.5 倍。
新基准测试与合作伙伴应用
英伟达发布了 Isaac Lab-Arena 0.4 版开发者预览版,这是一个开源框架,可在数千种并行变化中评估策略。基于该框架构建的两个新开源基准测试 DexBench 和 VABAR,旨在衡量工业任务中的灵巧性与适应性。DexBench 由 RLWRLD 与英伟达共同开发,包含零售、物流、制造和酒店服务四个场景中的 15 项任务。VABAR 由加州大学伯克利分校和英伟达联合推出,涵盖 6 项工业任务。
Skild AI 宣布推出 STEEL,这是一款基于 Newton 构建的刚体物理求解器,可加快与 Isaac Lab 配合的机器人训练。Flexion 展示了 Isaac Lab 与 Newton 如何帮助训练其 Reflect 机器人智能模型。FieldAI 正在利用 Newton、Isaac Lab 和 Isaac Sim 训练并验证非结构化环境中的策略。据英伟达称,Nexuni 正在测试 GR00T 2 用于机器人洗衣,富士康将其应用于服务器制造自动化,西门子则在评估其在工业领域的应用。
https://twitter.com/i/status/2119844954893946999
英伟达还称,其在韩国举办了面向 AI 初创企业的合作伙伴论坛,宣布对 Point2 进行投资,并计划进一步投资 Motif Technologies、RLWRLD 和 Upstage。
来源
- 英伟达在CoRL发布GR00T 2和Isaac Lab 3.0 — The Robot Report