Cosmos 3 – 英伟达开源的机器人世界基础模型与动作预测

Cosmos 3 是一款由英伟达于 2026 年 5 月推出的世界基础模型，主要用于为机器人与自动驾驶系统生成带物理上下文的训练数据并预测动作，支持视觉推理、多模态生成与原生动作输出，适用于合成数据生产、机器人任务微调与安全场景预演等场景。

Cosmos 3 的核心能力

Cosmos 3 想解决的是机器人在真实世界里「没练过的场景怎么办」。官方的说法是先想再动：让推理块看懂正在发生什么，再让生成块据此产出物理上说得通的结果。以下三点是这套机制的实际落点。

推理与生成整合在同一体系

官方称其为混合 Transformer（Mixture-of-Transformers，MoT）：推理部分负责视觉语言理解、物体交互与时空关系，生成部分据此产出视频、图像、声音与动作，其中生成部分采用基于扩散模型的架构。两者整合在同一模型体系里，不是简单串联的两个独立模型。除模型权重外，官方还开放了覆盖机器人、物理交互、自动驾驶与仓储等场景的数据集，供构建合成数据与后训练流程使用。

直接输出数值动作

模型不只生成视频，还能产出关节角、夹爪位置与轨迹点这类数值动作数据。对抓取与放置任务来说，这才是训练策略模型真正需要的东西。视频提供视觉观察与场景变化信息，与本体对应的动作轨迹则能进一步用于动作策略学习，两类数据结合才更完整；生成动作数据也不等于能直接控制真机械臂，仍需动作空间定义、策略模型与执行控制系统配合。

按本体与传感器配置微调

官方说明开发者可用特定机器人本体、工作环境与传感器配置的数据做后训练，使模型适应不同平台与部署场景。真实产线的机械臂型号与视角各不相同，通用模型必须能被改造才谈得上落地，这条是它区别于纯演示型世界模型的地方。

三档规格对应不同部署位

权重分 Super、Nano、Edge 三档：Super 为 64B 参数，官方定位为物理准确性与生成质量上限，面向数据中心级合成数据与教师模型；Nano 为 16B，面向工作站推理、快速后训练与专项化；Edge 为 4B，面向边缘设备与实时视觉推理。三档硬件与用途不同，不能只按参数量大小挑档。同类的实时交互世界模型可对照站内 LingBot-World 2.0。

Cosmos 3 与同类世界模型的对比

下表从开源情况、动作输出、微调支持与主要用途等维度，把三款世界模型放在一起对照。

• 表格内数据来源：Cosmos 3 取英伟达官方博客、产品页、模型矩阵与 Hugging Face 模型卡；Genie 4 与 Hy-Nomas 取各自官方发布说明；未公开的项标注「以官方说明为准」，不作推测。
• 产品对比简述：Cosmos 3 在动作输出上给机器人动作轨迹，Genie 4 在主要用途上偏交互式模拟与训练环境、在动作输出上是场景内交互；Hy-Nomas 在动作输出上偏文本与镜头控制。三者的动作输出不是同一概念。

如果关心的是键位可控的交互式世界模型，站内的 H3-World 是同一赛道里另一种取向。

Cosmos 3 的应用场景与适用人群

真实世界里拍不到、也复现不了的场景，才是这类模型的主场；只想做视频演示的需求，普通视频生成模型更直接：

• 合成训练数据：生成带物理约束的视频与动作，补足真实采集不到的角落案例。
• 机器人策略微调：按本体与相机布局微调后，产出可直接训练策略的动作数据。
• 安全场景预演：为自动驾驶与仓储系统生成带物理上下文的场景数据，用于长尾场景测试、训练数据增强与闭环仿真评估。
• 仿真环境构建：为仿真器补充物理上说得通的场景与动作序列。

适用人群：适合做具身智能与自动驾驶、手里有真实数据管线但缺长尾场景的团队，也适合在仿真环节需要大量合成数据的工程组；只想做一段 3D 场景漫游的创作者，用生成式世界模型的可玩版本更划算。城市级 3D 世界模型可对照站内 ABot-Earth 0.7。

Cosmos 3 的使用方法

用法按三条路径展开：本机拉权重做生成、通过 NVIDIA Build 或 NIM 做平台推理、或者用命令行脚本接进仿真管线；三条的取舍在硬件与批量规模。

本机权重：先拉下来出一段视频

1. 在 nvidia/cosmos3 集合里按用途选档：高质量合成数据与教师模型用 Super，工作站推理与后训练用 Nano，边缘设备与实时推理用 Edge。
2. 按模型卡说明装依赖并跑一次样例推理，确认显存与框架版本满足要求。
3. 用同一段提示分别跑三档，比对生成质量与耗时，定下自己的档位基线。

平台接口：通过 NVIDIA Build 或 NIM 调用

1. 不自建完整推理环境时，可先在 NVIDIA Build 平台体验官方提供的模型服务。
2. 需要生产部署时，改用 NVIDIA NIM 把模型部署到支持的 GPU 基础设施上。
3. 针对机器人本体与任务做后训练，则使用 Cosmos Framework 及配套训练脚本；这几条是不同的官方入口，不宜笼统称为一个 NVIDIA API。

命令行脚本：批量接进仿真管线

1. 把模型封装成离线批处理任务，按场景清单批量生成视频与动作序列。
2. 对生成结果做物理合理性抽检：关节角是否越限、轨迹是否连续。
3. 把通过检查的样本打上来源标记后并入训练集，便于后续追溯。

两点要留意：生成的动作数据必须做可达性与连续性检查，否则会把不物理的样本喂进策略训练；命令行接入属于典型工程集成方式，不是官方规定的固定 CLI 流程；OpenMDW 1.1 不是常见的 MIT 或 Apache 协议，商用与再分发前要通读条款。

Cosmos 3 的项目地址

• 产品页：https://www.nvidia.com/en-us/ai/cosmos/
• 官方发布说明：https://blogs.nvidia.com/blog/cosmos-3-physical-ai-open-world-foundation-model/
• Hugging Face 权重：https://huggingface.co/collections/nvidia/cosmos3

Cosmos 3 的价格与开源情况

权重依据 OpenMDW 1.1 许可在 Hugging Face 开放，开发者可下载、修改与部署，但使用、再分发及相关义务需遵循许可条款；这份开放模型许可不同于 MIT、Apache-2.0 等常见软件许可，不能直接套用传统开源理解。框架、权重与配套工具可能分别适用不同许可，成本主要落在自有 GPU 集群上。

英伟达没有为 Cosmos 3 单独公布按调用计费的价格表，文中不写虚构单价。走自建集群时，账要看两段：数据合成阶段的离线批量推理，与微调阶段的训练时长，后者往往是主要支出。

若只是想验证效果，先按官方模型矩阵确认所选档位的推荐硬件，再决定是否投入更大算力；官方并未承诺 Nano 可在任意单卡运行。同类开源世界模型的算力成本可按同一口径自行折算。

Cosmos 3 的常见问题