Matrix-Game 4.0 – 昆仑万维推出的消费级显卡实时视频大模型游戏

Matrix-Game 4.0是昆仑万维于 2026 年 10 月发布的实时可玩视频大模型游戏，主要用于在单张消费级显卡上实时生成并运行可操作的游戏画面，支持 480p、60 FPS 实时输出与低于 150 毫秒的端到端延迟，适用于游戏原型验证、交互式内容创作与智能体训练等场景。

Matrix-Game 4.0 的核心能力

Matrix-Game 4.0 要解决的问题是让视频模型生成的世界可以直接上手操作。此前逐帧外推像素的交互式世界模型把世界状态存放在模型的内部表示里，物体一旦离开视野就可能消失，规则也只能从画面反推。这类系统的负载几乎全部来自 AI智能体 与自动化任务，因此世界状态由谁维护、规则由谁定义，直接决定它能不能当作游戏来玩。

单张消费级显卡上的实时指标

官方给出的硬指标是：单张 NVIDIA RTX 5090，480p 分辨率下游戏以 60 FPS 运行；从玩家按键到首帧响应，端到端延迟低于 150 毫秒；单步去噪的稳态生成速度达到 83 FPS，显存峰值 18.5 GiB。这组数字意味着视频模型驱动的游戏第一次具备了本地部署与实时交互的实用价值，而不只是一段离线渲染的演示视频。

由引擎、Coding Agent 与视频模型构成的三段式结构

Matrix-Game 4.0 采用官方称为 Harness 的新范式：游戏引擎负责记录世界里发生了什么，用简化的几何模型与场景结构描述道路、建筑、角色与可交互物体，生命值、背包、重力、碰撞和任务进度等状态与规则由代码维护，即使物体离开视野也仍按规则演化；Coding Agent 把自然语言指令写成新的规则并检索引擎状态，据此生成提示词；视频模型只负责渲染，接收低模代理画面、动态描述与参考帧，用蒸馏到两步去噪的因果自回归 DiT 生成画面。

空间记忆与滑动窗口维持长时一致

视频模型在每个新块生成时，关注三部分上下文：按相机位姿检索到的空间记忆、用于锚定角色与画风的多参考帧，以及最近若干块组成的滑动窗口。官方项目主页显示，实时推理时最旧的块会随新块进入而离开窗口，空间记忆按位姿检索三帧 K/V 写入网络，用于锁定已探索区域的场景结构；单个游戏可连续不间断游玩 54 至 99 秒，画面与引擎低模保持逐帧同步。

发布同步开源

官方称 Matrix-Game 4.0 在发布时同步开源，并提供 GitHub 仓库、Hugging Face 权重与项目主页三个入口。GitHub 仓库的说明为「Streaming Neural Rendering for Playable Games」，采用 MIT 许可，仓库内按 Matrix-Game 1 至 4 分目录列出历代实现；Hugging Face 权重仓的许可为 Apache-2.0。

Matrix-Game 4.0 与同类实时世界模型的对比

上表 Matrix-Game 4.0 一列取自昆仑万维官方公众号与官方项目主页，Zing-0.5 一列取自其官方发布材料，LingBot-World 2.0 一列取自其官方开源说明。实时性能一列的统计口径不同：Matrix-Game 4.0 为游戏运行的输出帧率，Zing-0.5 为单卡生成帧率，LingBot-World 2.0 为受推理配置影响的输出上限。在本地单卡上直接运行游戏的，可优先看硬件门槛与延迟口径；需要长时段连续生成且不漂移的，可比较三者的记忆设计。此外，谷歌 DeepMind 的 Genie 系列同属交互式世界模型方向，目前尚未开放权重。

Matrix-Game 是一条持续迭代的产品线，上一代作品同样围绕实时交互世界展开。想了解上一代的能力边界与规格，可以参考 Matrix-Game 3.5（昆仑万维 Skywork 推出的实时交互世界模型，支持实时视频生成、长时序记忆与动作控制）。

Matrix-Game 4.0 的应用场景与适用人群

该模型把游戏世界交给视频模型实时渲染，常见场景包括：

• 游戏原型验证：用代码描述规则、由模型渲染画面，在原型阶段快速试玩玩法，不必先制作精细 3D 资产。
• 交互式内容创作：以自然语言调整场景与交互，把可玩片段作为内容形式发布。
• 智能体训练与评测：在可读取、可修改世界状态的沙盒中训练编程智能体，让规则与状态可被程序化检验。

适用人群：世界模型与视频生成方向的研究团队、需要低成本验证玩法的游戏开发团队，以及为智能体搭建可控交互环境的工程团队。

Matrix-Game 4.0 的使用方法

Matrix-Game 4.0 提供两种使用方式：只想了解效果的直接查看官方演示，需要实际游玩的则在本机部署运行。

查看官方演示

在 Matrix-Game 4.0 项目主页 可观看四段 15 秒的评测片段与三段不间断的游玩录像，拖动分割线即可对比生成画面与引擎低模的差异，不需要本地硬件。

本地部署运行

部署需要 RTX 5090 级别的显卡，按以下顺序进行：

1. 确认硬件条件：需要一张 NVIDIA RTX 5090 级别的显卡，显存峰值约 18.5 GiB，操作系统与驱动版本以 SkyworkAI/Matrix-Game 仓库的说明为准。
2. 获取代码与权重：从 GitHub 仓库 SkyworkAI/Matrix-Game 的 Matrix-Game-4 目录取得推理代码，权重从 Hugging Face 的 Skywork/Matrix-Game-4.0 仓库下载。
3. 准备运行环境：按仓库说明安装依赖，权重格式为 safetensors，任务类型对应 video-to-video，本机需预留与显存峰值匹配的磁盘空间。
4. 启动交互：加载引擎与视频模型后，游戏以 480p、60 FPS 运行，键盘输入经引擎更新世界状态，画面由模型实时渲染，端到端延迟低于 150 毫秒。
5. 调整规则与画风：修改引擎侧代码即可改动生命值、碰撞与任务进度等规则；场景与画风的调整通过提示词与参考帧完成。
6. 按需精简：推理使用两步去噪的因果自回归结构，每块输出四帧；显存不足时可按官方说明降低输出分辨率或缩短滚动窗口。

Matrix-Game 4.0 的项目地址

• 项目官网：https://matrix-game-v4-0.github.io/page/
• GitHub 仓库：https://github.com/SkyworkAI/Matrix-Game
• Hugging Face 模型库：https://huggingface.co/Skywork/Matrix-Game-4.0

Matrix-Game 4.0 的价格与开源情况

Matrix-Game 4.0 的代码与权重均可免费下载，官方未设置订阅、按次调用或其他付费入口，使用成本来自本地显卡的电费与折旧。单张 RTX 5090 长时间运行是本方案的主要开销，并不存在按分钟或按调用次数计费的云端账单。

Matrix-Game 4.0 开源，仓库采用 MIT 许可，权重仓采用 Apache-2.0 许可，商用与二次开发的条件以这两份许可证的条款为准。权重基于 Wan2.2-Fun-5B-Control 微调而来，使用前需一并确认该基座模型的许可范围。

Matrix-Game 4.0 的常见问题