H3-World – 腾讯联合高校开源的键位可控交互式世界模型

H3-World 是腾讯联合新加坡国立大学、香港理工大学于 2026 年 9 月开源的键位可控交互式世界模型，把键盘操作转成逐帧语言指令并据此续写画面，内置 11 种动作预设，输出 832×480 短片，适用于游戏场景复现、机器人视角预演与动作控制研究。

H3-World 的核心能力

它没有另起一个世界模型，而是在现成的大模型上做一层很薄的改造：让键盘状态变成模型看得懂的语言指令，再让指令只影响对应的未来帧。

键位转语言：把操作写成逐帧指令

键盘状态先被翻译成一句句语言指令，每一段绑定到对应的未来视频 latent，再由定向注意力路由连起来。控制信号由此进入模型已熟悉的文本通道，不必为动作控制重做一整套条件注入模块。

0.199% 的改造：65.6M 参数换来可控性

整个微调只训练 65.6M 个 LoRA 参数，占 33B 底座的 0.199%。LoRA 落在 qkv_proj 与 out_proj 上，rank 为 32。底座权重不动，原有画面质量与语义理解保留，新增的只是「按指令走」这一层能力。

11 种动作预设与固定首帧流程

内置预设覆盖静止、前进、后退、左右平移、俯仰与左右转，pan-left-fast 与 pan-right-fast 用于快速转向。输入首帧居中裁到 832×480，输出 124 帧、约 5.2 秒。PixVerse Game 走另一条路，把可交互世界做成游戏引擎形态。

与 DiffSynth 的关系：锁定版本再打补丁

推理依赖 DiffSynth-Studio 的指定提交，仓库用 code/diffsynth_base_commit.txt 记录提交号并附带动作控制补丁；安装顺序是先克隆、再切提交、最后应用补丁。官方提示不要以可编辑模式安装，因为脚本会校验补丁是否生效。

H3-World 与同类交互式世界模型的对比

三款产品的路线差异集中在基座来源、控制信号与单次输出长度。

上表 H3-World 一列取自官方仓库与论文，Matrix-Game 4.0 一列取自昆仑万维官方发布材料，LingBot-World 2.0 一列取自其官方开源说明。差别集中在三处：基座来源上，它只训 0.199% 的参数，另两款从底座构建；单次输出上，它停在 5 秒量级，另外两款分别做到实时帧率与小时级；开放方式上，它的权重另受社区许可约束。

想先看另一款同属实时交互方向、规格更完整的开源世界模型，可以参考 Zing-0.5（Loopit 推出的实时交互视频世界模型，5B 规模、Apache 2.0 开放代码与权重）。

H3-World 的应用场景与适用人群

用法很直接：给一张首帧加一串动作，让模型把接下来几秒的画面续出来。常见场景：

• 动作控制研究：在同一张首帧上换动作预设，看画面走向是否与指令一致，控制变量只有动作。
• 游戏场景复现：把实机录像切片段作训练素材，复现某类关卡的镜头运动与场景结构。
• 机器人视角预演：用前进、转向等预设模拟移动视角，先检查路径上的场景可读性。
• 低算力微调试验：只训练 65.6M 参数的 LoRA，四张卡一轮，适合验证小改动。

适用人群：世界模型与视频生成方向的研究团队、需要可控镜头素材的游戏与内容团队，以及想在现成大模型上轻量微调的工程团队。

H3-World 的使用方法

共三条路径：先看在线演示，再在本机跑验证流程，需要训练时进微调。

本机推理：跑内置样例再换自己的首帧

1. 取代码：从 H3-World 官方仓库 克隆后，把 DiffSynth-Studio 切到仓库记录的提交号，再执行 git apply ../code/diffsynth_h3_action.patch 打上补丁。
2. 下载权重：用 snapshot_download 取回 MiniMaxAI/MiniMax-H3 的 FL2VA 分片与 DANNY621/H3-World 里的 step-10000.safetensors；底座无需权重转换或键名重映射。
3. 运行内置样例：执行 python3 code/abot/infer.py --action-preset forward --num-frames 124 --steps 50，得到一段 5.2 秒的前进行走片段。
4. 换成自己的首帧：替换 examples/first_frame.png，用 --scene-prompt 描述场景与主体，动作由 --action-preset 指定。

LoRA 微调：切片、缓存与四卡训练

1. 准备数据：把数据根目录写进 ABOT_SRC_ROOT，依次执行切片、划分、latent 缓存与动作文本注入四个脚本。
2. 开训：用 bash code/train.sh 在四张卡上训练。

在线看演示：主页视频与 Hugging Face 演示空间

1. 看项目主页：中段有四段可在线播放的演示视频，覆盖第一与第三人称视角，不需要本地硬件。
2. 上 Hugging Face：演示空间 hugging-apps/h3-world-action-demo 加载 DANNY621/H3-World 权重，WASD 移动、JL 摇镜、KI 俯仰、F 改急转；由 Hugging Face 侧搭建，不在作者主页入口列表里。
3. 分清用途：演示只确认动作到画面的绑定，跑自己的首帧仍要回本机推理。

环境要求：沿用官方的 Python 3.10 加 CUDA 12.8 组合，依赖清单在仓库 requirements.txt 里，PyTorch 版本需与显卡驱动匹配。本机推理与微调都要本地有可加载 33B 底座的显存；单卡可推理，训练默认四卡。

H3-World 的项目地址

• 项目主页（方法说明与演示）：https://danzer1xxxxchan.github.io/H3-World
• GitHub 主仓库（代码与脚本）：https://github.com/Danzer1xxxxChan/H3-World

H3-World 的价格与开源情况

H3-World 的代码按 Apache-2.0 发布，仓库里的训练、推理与数据处理脚本都可以直接取用，不产生许可费用。

需要留意的是权重不跟随代码协议：LoRA 检查点属 MiniMax-H3 的模型衍生品，使用、修改、再分发与部署都要遵守 MiniMax H3 社区许可；代码可按 Apache-2.0 自由改，微调产物商用前要另看那份协议的条款。

成本落在算力与底座上：推理要装下 33B 主干的显存，训练默认四张卡跑 20 轮、每 2,000 步存一次检查点，数据侧还要预留 ABot-World-Explorer-500h 切出的 8,000 段片段与 latent 缓存的空间，其中 7,872 段训练、128 段测试。切片、划分与缓存都有固定脚本，重跑能得到同一组划分。

H3-World 的常见问题