Genie 4 – Google DeepMind 推出的实时交互世界模型,首次支持原生音频生成

AI模型10小时前更新 老高
3 0

Genie 4 是 Google DeepMind 于 2026 年 10 月公布的新一代实时交互世界模型,推演中用自然语言即可移动镜头、改变天气、引入新角色,并把环境声、音乐与人物对话随画面一起生成,适用于机器人训练环境搭建、游戏关卡预演与影视分镜推演。

基础信息内容
产品定位实时交互世界模型(World Model)
出品方Google DeepMind
发布时间2026 年 10 月 27 日
研发阶段研究发布,非商用版
生成内容可实时推演、可干预的三维画面
原生音频支持,环境声、音乐与对话同步生成
交互方式自然语言引导,可改镜头、天气与角色
推理接入Gemini Omni 定外观,其余模型保一致
预期用途机器人训练,影视、游戏与制造业创作
开放范围先向少量可信测试者推送
后续入口Project Genie 与 Gemini API 早期访问
权重与部署不开放权重,仅云端服务
Genie 4官方博客截图

Genie 4 的核心能力

先看表里三处会改变用法的设置:原生音频让输出从单路画面变成画面加声音,交互方式写的是自然语言而不是键位,开放范围只到可信测试者这一层。

音频与画面同轨,不再事后配音

官方把原生音频列为本代最重要的变化:每个生成出来的世界都即时产出环境声、音乐与可交互对话,不是先出画面再补音轨。输出侧因此多一路音频流,配音、字幕与审核都要跟着改。

一句自然语言就是控制信号

推演开始后,用自然语言即可移动镜头、改变天气、引入新角色。键位要求知道动作映射,相机轨迹要求按帧对齐,自然语言只要求说清意图;代价是粒度变粗,精确复现机位仍需参数化接口。

Gemini 家族分工:一个定外观,一组保连续

官方写明 Genie 4 复用了 Gemini 家族的能力:Gemini Omni 把推演锚定在真实世界的外观与行为上,其他 Gemini 模型提供维持连贯所需的复杂推理。真实感与长程一致性由两套模型分担。

与空间重建路线不是同一件事

世界模型这个词被两类工作共用:一类把真实场景重建进三维空间,另一类从零推演可交互世界。Genie 4 属后者,交付能被干预的实时画面,不是建筑的数字化副本。站内的 Atlas 属前一类,把文本、图像、位姿与深度图锚定在同一套三维空间。

研究发布,先给测试者

官方口径是已向少量可信测试者推送,之后才进入 Google AI Ultra 订阅的 Project Genie 与 Gemini API、AI Studio 的早期访问。普通用户现在打不开,开发者也拿不到额度。

Genie 4 与同类世界模型的对比

四款都能实时推演可被干预的场景,差别在音频、控制接口、输出规格与开放程度。下表数值取自各家官方公告与参数页,同一单元格不混用口径。

对比维度Genie 4EchoWMHy-NomasLingBot-World 2.0
出品方Google DeepMind京东未来研究院联合港科大等 9 家机构腾讯混元蚂蚁灵波科技
发布时间2026 年 10 月 27 日2026 年 8 月 26 日2026 年 10 月 23 日2026 年 9 月 10 日
产品定位实时交互世界模型可进入式全模态世界模型交互式世界生成模型实时交互世界模型
原生音频支持,环境声/音乐/对话支持,画面与环境声、音乐、语音同轨参数页未列音频能力参数页未列音频能力
控制方式自然语言实时引导Action DSL 键位与相机控制多轮文本+相机轨迹相机位姿、文本提示、角色动作与环境事件
输出规格官方未公布分辨率与帧率分辨率未公布,单次约 10 秒(Base 版)1280×704、24 fps最高 720P、60 FPS
运行环境谷歌云端服务NVIDIA GPU,支持多卡并行单张 RTX 4090(INT8)Small 1.3B 版单卡消费级 GPU
开放程度受限测试,后续经 Project Genie 与 AI Studio 开放开源,LTX-2 社区许可开源,Apache-2.0代码、权重与技术报告全套开放

差别集中在三处。控制接口决定谁在主导推演:Genie 4 只需说清意图,另外三款要下发键位、相机位姿或 Action DSL。输出规格决定能否直接进生产,表内最高两档是 1280×704 与 60 FPS,Genie 4 只写了实时。开放程度决定能否离线部署。

两点口径需注意:分辨率与帧率取自官方参数页,Genie 4 一栏按公告原文填写,未公布的项不代填;EchoWM 的「约 10 秒」是 Base 版单次时长,不是连续推演上限。另外三款的权重范围与硬件要求,站内的 EchoWM、Hy-Nomas 与 LingBot-World 2.0 有记录。

画面底座来自 Gemini 家族:官方写明由 Gemini Omni 锚定外观与行为,其余 Gemini 模型维持连贯。这条视频路线本身能做什么,站内的 Gemini Omni Flash 有单独一页。

Genie 4 的应用场景与适用人群

它的价值出现在需要边推演边改动的环节;只要固定成片,视频生成模型更直接:

  • 机器人训练环境:先在可交互仿真里验证策略,把少见场景补够再上真机。
  • 游戏关卡预演:用语言改天气与镜头,看过节奏再决定是否进美术生产。
  • 影视与广告分镜:按语言指令推演镜头运动,适合开机前讨论方案。
  • 新闻与制造可视化:把难以实拍的场景先做出来,用于脚本沟通。

适用人群:适合做具身智能与仿真的算法团队、需要快速预演关卡节奏的游戏与影视团队;只做固定成片、不需交互干预,用视频生成模型更省事。

Genie 4 的使用方法

官方给了三条路径:先读发布说明,再等 Project Genie 订阅开放,走开发者路线则申请 Gemini API 与 AI Studio 早期访问。

读发布说明:先看清能力边界

  1. 打开 官方发布说明,对照原生音频、语言引导、Gemini 分工与开放范围。
  2. 用本文参数表核对原文,未公布的分辨率与帧率不要自行补数。
  3. 注意当前是研究发布,公告示例不代表普遍可用。

Project Genie:等订阅档位开放

  1. 确认订阅档位为 Google AI Ultra,官方写明后续在该订阅内开放。
  2. 开放后先用短提示词试镜头控制,再试改天气与引入角色。
  3. 对话交互先测延迟与打断,再判断能否接进生产。

开发者路线:走 Gemini API 与 AI Studio 早期访问

  1. 以合作方身份申请早期访问,入口是 Gemini API 与 AI Studio。
  2. 接入前先定场景:训练要可控可复现,创意要能回退分支。
  3. 音画同轨意味输出多一路音轨,存储与审核流程需一并调整。

三点需留意:目前没有自助开通路径,公告外没有第二份官方文档可对照;语言引导的粒度是场景级,想复现同一机位要等参数化接口;音画同步会放大存储成本。

Genie 4 的项目地址

  • 产品官宣页:https://blog.google/innovation-and-ai/models-and-research/google-deepmind/introducing-genie-4/
  • DeepMind 研究博客(同篇发布):https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/

Genie 4 的价格与开源情况

官方没有为 Genie 4 单列价格,也没公布调用单价。商业入口是 AI Ultra 订阅里的 Project Genie,开发侧走 Gemini API 与 AI Studio 早期访问,档位以官方定价页为准。

权重不对外发布,没有可下载的仓库、模型卡或许可证,只能在谷歌云端使用。这与表里另三款开源模型是根本区别:那三款可自行部署,硬件与运维自担;Genie 4 的成本结构是订阅费加调用费。想在本地推演,站内的 Matrix-Game 4.0 已把单卡规格与许可写清楚。

Genie 4 的常见问题

Genie 4 现在能直接用吗

还不能。官方口径是已向少量可信测试者推送,之后才进入 AI Ultra 订阅的 Project Genie 与 Gemini API、AI Studio 早期访问,目前没有自助入口。

音频是生成出来的还是后配的

是生成出来的。官方写明每个世界都即时产出原生音频,包括环境声、音乐与可交互对话,不是先出画面再补音轨,这是本代最主要的变化。

能输出多高的分辨率、多少帧

官方公告没有公布,只写了实时交互与前所未有的真实感。本文参数表按原文填「未公布」,数值要等官方文档更新。

它和 Gemini Omni Flash 是同一个东西吗

不是。Genie 4 是实时交互世界模型,Gemini Omni 的角色是锚定外观与行为;Gemini Omni Flash 是站内记录的多模态视频生成与编辑模型。

开源吗,能下载权重吗

不开源,官方没有提供权重、仓库或模型卡,也没有许可证条款,只能通过云端入口使用。要在本地运行这类模型,得看表里那三款开源方案。

© 版权声明

相关文章