Hy-Nomas – 腾讯混元推出的自由交互式世界生成模型

AI模型3天前更新 老高
31 0

Hy-Nomas是腾讯混元于2026年10月推出的自由交互式世界生成模型,主要用于按控制信号持续推演可操作画面,支持多轮文本提示与相机轨迹两种控制方式,适用于游戏原型验证、机器人操作仿真与影视分镜预演等场景。

基础信息内容
产品定位交互式世界生成模型
出品方腾讯混元(Tencent Hunyuan)
发布时间2026年10月23日
输出规格1280×704、24 fps
生成方式分段自回归+lifelong KV cache
推理步数蒸馏后 8 步去噪
显存配置单张 RTX 4090(INT8)
许可证Apache-2.0
微调方式LoRA,秩与 alpha 均为 256
基准数据Hy-Nomas-Bench 280 例
Hy-Nomas 项目主页截图

Hy-Nomas 的核心能力

Hy-Nomas 属于交互式世界模型这一类:模型不产出一段固定视频,而是依据控制信号持续推演画面,使用者在推演中可以改变走向。同类工作里,蚂蚁灵波科技的 LingBot-World 2.0 走的是实时交互路线,Hy-Nomas 的差异在于把长时一致性交给缓存机制处理。

按分段自回归续写连续世界

生成以段为单位推进,每段以上一段的末帧为条件,因此可以多轮续写,不必一次生成全长视频。段与段之间的衔接由模型自己承接,官方演示按段解码,换段时不需要重新起头。这种推进方式把显存占用压在单个段的时间窗内,中途也能插入新的提示词。

用 lifelong KV cache 维持长时一致

模型为整段生成维护一份持续累积的键值缓存,历史帧的信息不在换段时被清空,场景里的物体位置、材质与光照因此能跨段延续。为避免缓存无限增长,实现里另设滑动窗口限定保留的上下文。两者合起来,构成官方所说的长时一致性。

同时接受文字提示与相机轨迹

控制信号有两条。一条是多轮文字提示,可在生成过程中随时改写场景语义,比如把晴天改成雨夜;另一条是相机轨迹,用来指定视角的位移与转向。两条可以交替下发,官方把这种组合称为交错式文本与相机控制,也因此更适合做运镜推演。

用 LoRA 训练自定义适配器

官方给出的是分段强制训练流程:先在未蒸馏的检查点上训练 LoRA,再把适配器合并进蒸馏检查点用于推理。仓库内置两套可直接使用的适配器,一套面向电影感画面,另一套在双臂机器人的真实数据集上训练。训练只更新 LoRA 参数,主干保持冻结。

在单张 RTX 4090 上做低显存推理

官方提供低显存单卡配置:DiT 权重与 KV 缓存放成 INT8、解码器权重放成 FP8,线性层与注意力计算仍走 BF16,同时用滑动窗口限制历史长度并关闭序列并行。配合 FlexAttention 与 CUTLASS FP8 内核,单卡工作站即可完成交互演示。

Hy-Nomas 与同类世界模型的对比

下表列出三款可下载权重的交互式世界模型在输出与控制方向上的规格,数值取自各自官方仓库与项目主页。

对比维度Hy-NomasMatrix-Game 4.0Zing-0.5
出品方腾讯(混元)昆仑万维 SkyworkLoopit(涌跃智能)
发布时间2026年10月23日2026年10月15日2026年8月26日
控制信号多轮文本+相机轨迹引擎内键鼠实时操作键盘动作+文本改写
输出分辨率1280×704864×480480×832(示例配置)
输出帧率24 fps60 FPS24 FPS 以上
单卡部署RTX 4090(INT8)RTX 5090(18.5 GiB)RTX 5090
许可证Apache License 2.0MIT(仓库)Apache License 2.0

上表三款的输出口径并不相同。1280×704 一行,Hy-Nomas 的分辨率是三者里最高的一档,另两款停在 480 级,取舍落在清晰度与帧率之间;输出帧率一行,24 fps 与 60 FPS 相差明显;单卡部署一行差距最明显,INT8 量化后一张 RTX 4090 即可运行,另两款需要 RTX 5090 级别的显存。

如果更关注视听两个模态一起生成,可以看 EchoWM(京东未来研究院开源的交互式视听世界模型,在画面之外同时建模声音)。

Hy-Nomas 的应用场景与适用人群

Hy-Nomas 的用途集中在需要「边生成边控制」的环节。腾讯此前开源的 H3-World 已把键位控制走通,Hy-Nomas 补的是相机轨迹与长时段一致,常见场景包括:

  • 游戏与关卡预演:在引擎之外先生成可操作画面,验证镜头与节奏
  • 机器人操作仿真:用双臂机器人数据训练的适配器生成操作场景,补充训练样本
  • 影视与广告分镜:按相机轨迹推演镜头运动,先看运镜效果再进入实拍

适用人群:做实时图形与游戏原型的研发团队、需批量生成视觉样本的具身智能研究组,以及要在正式制作前核对运镜的影视制作方。

Hy-Nomas 的使用方法

Hy-Nomas 目前有 3 条路径可用:平台侧托管的在线空间、本地单卡部署,以及用 LoRA 做场景微调。可以先在线验证效果,再决定是否落到本地。

在线体验:在托管空间里直接试

  1. 打开 Hugging Face 上由平台侧搭建的 hugging-apps/tencent-hy-nomas 空间(Hy-Nomas Live),无需本地环境
  2. 输入起始提示词生成第一段,再用鼠标或键盘下发相机动作,观察画面如何响应
  3. 多轮改写提示词,检查换段后物体位置与光照是否连续

本地部署:单卡完成交互推理

  1. 从 Hy-Nomas 官方仓库 拉取代码与推理脚本
  2. 在 Hugging Face 取 tencent/Hy-Nomas 的 DiT 与 VAE 权重,低显存环境改用 INT8 与 FP8 版
  3. 以 single_gpu_low_mem_inference.yaml 为配置启动,容器里暴露单张 GPU 即可
  4. 按 width=1280、height=704、fps=24 设置输出,段长按显存余量调整

LoRA 微调:把自有场景注入模型

  1. 用仓库的标注流程把本地视频按段切分并打标,打包成 Arrow 或 Parquet 数据集
  2. 从未蒸馏检查点出发,按 sft.yaml 训练 LoRA,秩与 alpha 均为 256、学习率 1e-4、2000 步
  3. 把训练好的适配器合并进对应的蒸馏检查点,得到可直接推理的新权重

技术报告目前标注为即将发布,性能数字尚未公开,选型应以实际生成效果为准。在线空间由 Hugging Face 侧搭建、不在作者主页的入口列表里;相机轨迹须按帧对齐,否则控制会失效。

Hy-Nomas 的项目地址

  • 项目主页:https://hy-nomas.hy.tencent.com/
  • GitHub 仓库:https://github.com/Tencent-Hunyuan/Hy-Nomas
  • Hugging Face 模型库:https://huggingface.co/tencent/Hy-Nomas

Hy-Nomas 的价格与开源情况

Hy-Nomas 以 Apache-2.0 许可发布,代码、权重与基准数据集都可免费下载,官方没有设置付费档位或按量计费入口。支出集中在算力一侧:用蒸馏检查点做 4 到 8 步推理,单张 RTX 4090 可完成交互演示;若要训练 LoRA,需从 FP32 的未蒸馏检查点出发,显存占用与时长都会上一个台阶。

权重按用途分成几档。基础自回归 DiT 以 FP32 提供,供分段强制训练与微调使用;蒸馏 DiT 同样提供 FP32,支持 4、6、8 步推理;另有 INT8 量化的蒸馏版本,面向低显存单卡。适配器侧预置电影感与双臂机器人两套 LoRA,解码器另有 FP8 版本。Apache-2.0 允许商用与二次分发,需保留许可证与版权声明。

Hy-Nomas 的常见问题

Hy-Nomas 开源了吗?

已开源。仓库以 Apache-2.0 发布,代码、DiT 与 VAE 权重、两套 LoRA 适配器以及 Hy-Nomas-Bench 基准数据集都可下载,官方未设付费档位。

Hy-Nomas 需要什么显卡?

官方给出的是单张 RTX 4090 的低显存配置:DiT 权重与 KV 缓存按 INT8 存储、解码器按 FP8 存储,计算仍为 BF16,并配合滑动窗口限制历史长度。显存峰值随分辨率与段长变化。

Hy-Nomas 单次能生成多长的视频?

生成以段为单位推进,官方示例给出两段各 5 秒,可多轮续写。长时一致性靠持续累积的 KV 缓存维持,实现里另设滑动窗口限定上下文长度。

Hy-Nomas 有在线演示吗?

有。Hugging Face 侧搭建了 Hy-Nomas Live 交互空间,可直接在网页里下发相机动作与文本提示,该空间由平台侧维护。

© 版权声明

相关文章