目录
NVIDIA 新推出的四种 Cosmos 3 检查点,分别支持离线驾驶数据、流式驾驶观测、仿真器渲染和以动作为条件的机器人视频。请根据已有的控制输入进行选择,并在将生成的观测用于策略训练或评估前进行验证。
要点#
- 四种检查点均为经过后训练的 Cosmos 3 Nano 模型,拥有 160 亿个可训练参数,可依照 OpenMDW1.1 条款用于商业和非商业用途。
- Transfer-Auto 可生成最多 11 个视角的离线驾驶数据,支持鱼眼相机,并可选择同时生成 RGB 和 LiDAR 数据。
- Sim-Auto 以流式方式生成驾驶观测,Sim-Transfer 根据仿真器的控制输入生成 RGB,Sim-Bimanual 根据机器人或相机的动作预测视频。
- 可以利用公开的权重和后训练方案进行适配,但硬件要求以及是否适合策略训练,需要结合自身工作负载确认。
根据可用的控制输入选择#
此次发布于 2026 年 11 月 5 日,提供四种接口。首先,请确认自己的系统能够提供哪些数据。
| 模型 | 所需的初始输入 | 预期输出 | |---|---|---| | Transfer-Auto | 驾驶场景的控制输入和文本 | 离线多视角驾驶数据 | | Sim-Auto | 更新后的驾驶控制输入和历史记录 | 相机和 LiDAR 观测流 | | Sim-Transfer | 仿真器的空间控制输入和文本 | 生成的 RGB 视频 | | Sim-Bimanual | 初始图像和动作输入 | 后续机器人场景的观测 |
实际使用中的区别在于状态的来源。Sim-Transfer 依赖仿真器计算物理状态。Sim-Bimanual 则根据动作和观测直接预测视觉结果。仅凭这两种接口本身,都无法判断生成视频是否具备用途所需的物理准确性。
先生成驾驶数据#
Transfer-Auto 可生成最多 11 台相机之间同步的视频。通过各相机的 World Scenario Map(WSM)控制输入指定场景结构和交通动态,并通过文本提示词引导天气、光照和外观。可选的初始 RGB 图像可作为场景外观的基准。同时生成 LiDAR 数据时,还需要基于已对齐 HD 地图的距离图控制输入。
针对不同的相机布局、LiDAR 配置和驾驶域,NVIDIA 给出的流程是先使用自有数据适配 Transfer-Auto。随后,可将适配后的模型用于离线生成,或通过因果训练和蒸馏创建流式模型。
Sim-Auto 是经过因果蒸馏的流式版本。它利用更新后的控制输入和近期历史,依次生成小块内容。闭环驾驶系统还需要单独配置仿真运行时和 WSM 渲染器,将驾驶输入转换为下一步的控制输入。仅靠检查点无法构建整个闭环。
匹配机器人接口#
如果物理仿真器已经负责计算运动、接触和状态,可使用 Sim-Transfer。它接收深度、分割、边缘、粗略模糊化的外观等空间控制输入以及文本提示词,生成 RGB 观测。闭环流程为:策略动作 → 仿真器更新 → 空间控制输入 → 生成图像 → 下一步动作。
Sim-Bimanual 则以图像为起点,根据机器人或相机的动作预测观测。公开检查点支持 YAM 和 AgiBot 双臂机器人配置,也能处理在视角切换与物体操作之间交替的序列。
请将遵循动作模式视为集成要求。混合动作示例使用 59 个控制值,训练时填充至 64 个。坐标系、旋转、夹爪标定和有效性掩码也有明确定义。还需保持时间对应关系:T 次状态转移需要 T+1 个观测。公开的推理用动作输入已经过归一化。
理解流式训练方案#
流式生成根据控制输入和可用历史预测短块,将其解码为图像,并在键/值缓存中保留用于后续预测的注意力信息。初始图像之后,潜在表示的每个时间步对应 4 帧 RGB 图像。减小块大小,可让新的控制输入更频繁地影响生成过程。
公开的适配方案分为四个阶段。
1. 双向适配: 从记录的完整片段中学习特定领域的控制输入与视频之间的关系。 2. 教师强制: 遮蔽无噪声的预测目标和未来观测,根据此前记录的观测预测内容块。 3. 一致性蒸馏: 训练学生模型,使其通过 4 次去噪步骤生成每个块。 4. 自我强制: 使用学生模型自身生成的历史进行训练,以应对展开过程中累积的误差。
这些阶段分别处理不同的问题。蒸馏降低生成成本,自我强制让模型在训练时接触不完美的生成上下文。两者都不能保证长时间展开的可靠性。
确认运行条件和实用性#
公开的 Sim-Bimanual 配置需要 Linux、NVIDIA GPU、Docker 和 NVIDIA Container Toolkit。NVIDIA 使用一块 GB200 测试了 vLLM-Omni 配置。这是经过测试的配置,既不代表最低显存要求,也不保证其他 GPU 上的性能。
开始长时间适配训练前,请检查环境、验证一个数据样本、运行一次短训练任务,并测试恢复训练。请保存完整的训练检查点。导出的推理权重不包含优化器等训练状态。
随后,评估未用于训练的回合。驾驶场景中,应检查相机与 LiDAR 的对齐情况,以及对场景控制输入的响应。机器人场景中,应检查动作时序和物体一致性。推理演示成功只能确认系统能够运行,无法确认训练是否收敛或策略评估是否可靠。
下一步#
选择与现有控制输入匹配的检查点,并在准备自有数据集前,使用附带的示例输入运行公开的推理示例。
来源: https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation
目录
