英伟达新增四款开放权重 Cosmos 3 模型，用于驾驶与机器人仿真

英伟达在 Hugging Face 上的一篇帖子中表示，已为其 Cosmos 3 模型系列新增四个开放权重检查点，旨在生成交互式世界仿真以及多传感器、多视角的驾驶场景。

这些检查点分别为 Cosmos3-Nano-Transfer-Auto、Cosmos3-Nano-Sim-Auto、Cosmos3-Nano-Sim-Transfer 和 Cosmos3-Nano-Sim-Bimanual。英伟达表示，这四个模型都是基于 Cosmos 3 Nano 进行后训练的示例，拥有 160 亿个可训练参数，并采用 OpenMDW1.1 许可证，该许可证在其条款范围内允许商业和非商业使用。

驾驶模型

英伟达称，Transfer-Auto 是一种双向模型，用于离线生成合成驾驶数据。它可以输出多达 11 个摄像头视角的同步视频，包括鱼眼摄像头，并支持联合生成 RGB 和 LiDAR 数据。该公司表示，开发者可以调整天气、光照和一天中的时段。

Sim-Auto 是 Transfer-Auto 的流式版本，经过训练，使每一步仅依赖于之前的步骤。英伟达表示，它只需少量去噪迭代，即可以连续的短片段生成摄像头视频和 LiDAR 数据，并借助先前生成的帧和新的驾驶输入来维持长时间的交互运行。该公司表示，闭环使用需要仿真运行时和 World Scenario Map 渲染器来更新控制信号。

机器人模型

Sim-Transfer 从物理仿真器获取深度和分割等空间控制信号，并结合文本提示，渲染出机器人策略可以使用的彩色观测图像。英伟达表示，物理数据和真实状态仍保留在仿真器中。

Sim-Bimanual 模拟环境如何响应双臂机器人'的动作而发生变化。英伟达表示，它支持 YAM 和智元（AgiBot）机器人本体，可由策略或人工操作的操纵杆控制，并直接根据场景和机器人动作生成下一帧观测结果。

模型工作原理

英伟达表示，Cosmos 3 采用混合 Transformer（Mixture-of-Transformers）主干网络，通过注意力机制连接独立的文本处理网络和视觉生成网络。这些模型基于称为潜变量（latents）的压缩视频表示进行工作，该公司表示，更小的数据块使新的控制信号能够更频繁地影响生成结果。

该帖子描述了四个训练阶段：双向适配、教师强制、一致性蒸馏和自强制。英伟达表示，最后一个阶段很重要，因为关于某个对象的微小预测误差会作为上下文传递到后续帧中，从而导致错误不断累积。

英伟达表示，后训练方案从 Cosmos3-Nano 或兼容的基础权重开始。对于 Sim-Bimanual，它列出的要求包括 Linux、英伟达 GPU、Docker 和 NVIDIA Container Toolkit，并表示已发布的配置在一块 GB200 上进行了测试，但它表示这并非最低内存规格。

该公司承认，仍存在一些难题。它表示，未来的工作包括检验这些模型在策略学习和评估方面的支持程度、梳理其局限性，并改进薄弱环节。