Genie 4 是 Google DeepMind 于 2026 年 10 月公布的新一代实时交互世界模型,推演中用自然语言即可移动镜头、改变天气、引入新角色,并把环境声、音乐与人物对话随画面一起生成,适用于机器人训练环境搭建、游戏关卡预演与影视分镜推演。
| 基础信息 | 内容 |
|---|---|
| 产品定位 | 实时交互世界模型(World Model) |
| 出品方 | Google DeepMind |
| 发布时间 | 2026 年 10 月 27 日 |
| 研发阶段 | 研究发布,非商用版 |
| 生成内容 | 可实时推演、可干预的三维画面 |
| 原生音频 | 支持,环境声、音乐与对话同步生成 |
| 交互方式 | 自然语言引导,可改镜头、天气与角色 |
| 推理接入 | Gemini Omni 定外观,其余模型保一致 |
| 预期用途 | 机器人训练,影视、游戏与制造业创作 |
| 开放范围 | 先向少量可信测试者推送 |
| 后续入口 | Project Genie 与 Gemini API 早期访问 |
| 权重与部署 | 不开放权重,仅云端服务 |

Genie 4 的核心能力
先看表里三处会改变用法的设置:原生音频让输出从单路画面变成画面加声音,交互方式写的是自然语言而不是键位,开放范围只到可信测试者这一层。
音频与画面同轨,不再事后配音
官方把原生音频列为本代最重要的变化:每个生成出来的世界都即时产出环境声、音乐与可交互对话,不是先出画面再补音轨。输出侧因此多一路音频流,配音、字幕与审核都要跟着改。
一句自然语言就是控制信号
推演开始后,用自然语言即可移动镜头、改变天气、引入新角色。键位要求知道动作映射,相机轨迹要求按帧对齐,自然语言只要求说清意图;代价是粒度变粗,精确复现机位仍需参数化接口。
Gemini 家族分工:一个定外观,一组保连续
官方写明 Genie 4 复用了 Gemini 家族的能力:Gemini Omni 把推演锚定在真实世界的外观与行为上,其他 Gemini 模型提供维持连贯所需的复杂推理。真实感与长程一致性由两套模型分担。
与空间重建路线不是同一件事
世界模型这个词被两类工作共用:一类把真实场景重建进三维空间,另一类从零推演可交互世界。Genie 4 属后者,交付能被干预的实时画面,不是建筑的数字化副本。站内的 Atlas 属前一类,把文本、图像、位姿与深度图锚定在同一套三维空间。
研究发布,先给测试者
官方口径是已向少量可信测试者推送,之后才进入 Google AI Ultra 订阅的 Project Genie 与 Gemini API、AI Studio 的早期访问。普通用户现在打不开,开发者也拿不到额度。
Genie 4 与同类世界模型的对比
四款都能实时推演可被干预的场景,差别在音频、控制接口、输出规格与开放程度。下表数值取自各家官方公告与参数页,同一单元格不混用口径。
| 对比维度 | Genie 4 | EchoWM | Hy-Nomas | LingBot-World 2.0 |
|---|---|---|---|---|
| 出品方 | Google DeepMind | 京东未来研究院联合港科大等 9 家机构 | 腾讯混元 | 蚂蚁灵波科技 |
| 发布时间 | 2026 年 10 月 27 日 | 2026 年 8 月 26 日 | 2026 年 10 月 23 日 | 2026 年 9 月 10 日 |
| 产品定位 | 实时交互世界模型 | 可进入式全模态世界模型 | 交互式世界生成模型 | 实时交互世界模型 |
| 原生音频 | 支持,环境声/音乐/对话 | 支持,画面与环境声、音乐、语音同轨 | 参数页未列音频能力 | 参数页未列音频能力 |
| 控制方式 | 自然语言实时引导 | Action DSL 键位与相机控制 | 多轮文本+相机轨迹 | 相机位姿、文本提示、角色动作与环境事件 |
| 输出规格 | 官方未公布分辨率与帧率 | 分辨率未公布,单次约 10 秒(Base 版) | 1280×704、24 fps | 最高 720P、60 FPS |
| 运行环境 | 谷歌云端服务 | NVIDIA GPU,支持多卡并行 | 单张 RTX 4090(INT8) | Small 1.3B 版单卡消费级 GPU |
| 开放程度 | 受限测试,后续经 Project Genie 与 AI Studio 开放 | 开源,LTX-2 社区许可 | 开源,Apache-2.0 | 代码、权重与技术报告全套开放 |
差别集中在三处。控制接口决定谁在主导推演:Genie 4 只需说清意图,另外三款要下发键位、相机位姿或 Action DSL。输出规格决定能否直接进生产,表内最高两档是 1280×704 与 60 FPS,Genie 4 只写了实时。开放程度决定能否离线部署。
两点口径需注意:分辨率与帧率取自官方参数页,Genie 4 一栏按公告原文填写,未公布的项不代填;EchoWM 的「约 10 秒」是 Base 版单次时长,不是连续推演上限。另外三款的权重范围与硬件要求,站内的 EchoWM、Hy-Nomas 与 LingBot-World 2.0 有记录。
画面底座来自 Gemini 家族:官方写明由 Gemini Omni 锚定外观与行为,其余 Gemini 模型维持连贯。这条视频路线本身能做什么,站内的 Gemini Omni Flash 有单独一页。
Genie 4 的应用场景与适用人群
它的价值出现在需要边推演边改动的环节;只要固定成片,视频生成模型更直接:
- 机器人训练环境:先在可交互仿真里验证策略,把少见场景补够再上真机。
- 游戏关卡预演:用语言改天气与镜头,看过节奏再决定是否进美术生产。
- 影视与广告分镜:按语言指令推演镜头运动,适合开机前讨论方案。
- 新闻与制造可视化:把难以实拍的场景先做出来,用于脚本沟通。
适用人群:适合做具身智能与仿真的算法团队、需要快速预演关卡节奏的游戏与影视团队;只做固定成片、不需交互干预,用视频生成模型更省事。
Genie 4 的使用方法
官方给了三条路径:先读发布说明,再等 Project Genie 订阅开放,走开发者路线则申请 Gemini API 与 AI Studio 早期访问。
读发布说明:先看清能力边界
- 打开 官方发布说明,对照原生音频、语言引导、Gemini 分工与开放范围。
- 用本文参数表核对原文,未公布的分辨率与帧率不要自行补数。
- 注意当前是研究发布,公告示例不代表普遍可用。
Project Genie:等订阅档位开放
- 确认订阅档位为 Google AI Ultra,官方写明后续在该订阅内开放。
- 开放后先用短提示词试镜头控制,再试改天气与引入角色。
- 对话交互先测延迟与打断,再判断能否接进生产。
开发者路线:走 Gemini API 与 AI Studio 早期访问
- 以合作方身份申请早期访问,入口是 Gemini API 与 AI Studio。
- 接入前先定场景:训练要可控可复现,创意要能回退分支。
- 音画同轨意味输出多一路音轨,存储与审核流程需一并调整。
三点需留意:目前没有自助开通路径,公告外没有第二份官方文档可对照;语言引导的粒度是场景级,想复现同一机位要等参数化接口;音画同步会放大存储成本。
Genie 4 的项目地址
- 产品官宣页:https://blog.google/innovation-and-ai/models-and-research/google-deepmind/introducing-genie-4/
- DeepMind 研究博客(同篇发布):https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/
Genie 4 的价格与开源情况
官方没有为 Genie 4 单列价格,也没公布调用单价。商业入口是 AI Ultra 订阅里的 Project Genie,开发侧走 Gemini API 与 AI Studio 早期访问,档位以官方定价页为准。
权重不对外发布,没有可下载的仓库、模型卡或许可证,只能在谷歌云端使用。这与表里另三款开源模型是根本区别:那三款可自行部署,硬件与运维自担;Genie 4 的成本结构是订阅费加调用费。想在本地推演,站内的 Matrix-Game 4.0 已把单卡规格与许可写清楚。
Genie 4 的常见问题
Genie 4 现在能直接用吗
还不能。官方口径是已向少量可信测试者推送,之后才进入 AI Ultra 订阅的 Project Genie 与 Gemini API、AI Studio 早期访问,目前没有自助入口。
音频是生成出来的还是后配的
是生成出来的。官方写明每个世界都即时产出原生音频,包括环境声、音乐与可交互对话,不是先出画面再补音轨,这是本代最主要的变化。
能输出多高的分辨率、多少帧
官方公告没有公布,只写了实时交互与前所未有的真实感。本文参数表按原文填「未公布」,数值要等官方文档更新。
它和 Gemini Omni Flash 是同一个东西吗
不是。Genie 4 是实时交互世界模型,Gemini Omni 的角色是锚定外观与行为;Gemini Omni Flash 是站内记录的多模态视频生成与编辑模型。
开源吗,能下载权重吗
不开源,官方没有提供权重、仓库或模型卡,也没有许可证条款,只能通过云端入口使用。要在本地运行这类模型,得看表里那三款开源方案。
浙公网安备33010202004812号