Bernini – 字节跳动开源视频生成与语义规划统一框架

Bernini快速摘要

Bernini是字节跳动研发的统一视频生成与编辑框架，基于MLLM语义规划与DiT扩散渲染的解耦架构，支持文本、图像与视频多模态输入并生成视频或编辑视频内容，适用于视频生成、影视预演与广告创作等场景。

• 框架名称：Bernini
• 开发公司：ByteDance
• 发布时间：2026年6月1日 正式开源
• 主要功能：文本生成视频、图像生成视频、视频编辑、参考引导生成
• 使用要求：Python 3.11+、CUDA 12.4+、推荐H100/H800 GPU
• 开源情况：Bernini-R推理代码与权重已开源（Apache-2.0）
• 适用场景：视频生成、影视制作预演、广告视频生成、电商展示
• 技术特点：MLLM语义规划+DiT渲染+SA-3D RoPE时空建模
• 价格：开源免费使用，依赖算力成本

Bernini的核心优势

• 语义规划与渲染解耦优势：Bernini采用MLLM进行语义规划，并在ViT embedding空间生成目标语义表示，再由DiT执行扩散渲染，实现语义与像素分离，使复杂编辑任务中结构一致性提升约18%（基于论文实验对比结果），显著降低“指令理解偏差”。
• 多模态统一输入优势：模型支持文本、图像、视频混合输入，通过统一语义空间建模，在多输入场景中保持跨模态对齐能力，相比传统单一条件视频生成模型，多参考输入任务成功率提升约20%，提升复杂创作一致性。
• 视频编辑稳定性优势：在v2v与mv2v任务中，通过VAE特征注入保留源视频非编辑区域信息，使背景漂移率下降约25%，有效解决传统扩散模型“全局重绘”问题，提升局部编辑可控性。
• 时空一致性建模优势：引入SA-3D RoPE对不同视觉片段进行segment级编码，使多输入序列中时空冲突减少约22%，提升长视频生成中帧间稳定性与结构连续性表现。
• 工程级扩展效率优势：支持diffusers统一加载结构与Ulysses并行推理机制，在8卡H100环境下可实现线性扩展加速约6.5倍，提高工业级视频生成吞吐能力。

Bernini的核心功能

• 文本生成视频功能：MLLM将文本映射为ViT语义表示，再由DiT生成连续视频帧，输入如“雨夜城市航拍”，输出16fps视频序列，可用于广告与概念视频生成。
• 图像生成视频功能：单张图像作为语义锚点，通过扩散过程生成动态视频，如产品图输入可生成旋转展示视频，保持主体结构一致性与材质稳定性。
• 视频编辑功能：对源视频进行局部或全局编辑，如“晴天改雪天”，系统仅修改语义相关区域并保留非编辑区域结构，实现低破坏性视频修改。
• 参考引导生成功能：支持多图、多视频输入作为条件控制，可输入材质图、风格图或角色图，使生成视频继承外观特征并保持时空一致性。
• 视频插入与植入功能：将图像或视频内容嵌入目标场景（如广告屏幕、街头招牌），模型自动完成透视匹配与时间轴一致性调整。

Bernini的技术原理

• 语义规划架构：MLLM-based Planner在ViT embedding space中预测目标语义表示，将文本、图像与视频编码为统一语义结构，用于指导后续扩散生成过程，实现结构级控制。
• 扩散渲染机制：DiT-based Renderer在VAE latent space中进行流匹配去噪，根据语义规划生成像素级视频帧，同时在编辑任务中注入源视频VAE特征以保持非编辑区域稳定性。
• SA-3D RoPE编码机制：为不同视觉片段分配segment index并嵌入3D旋转位置编码，使模型在统一序列中区分参考图与目标视频，减少跨片段语义混淆。
• 多输入时序建模：将文本、图像、视频统一映射为token序列，通过时空联合注意力机制建模长时间依赖关系，提升视频帧连续性与运动一致性。
• 三阶段训练策略：包括Planner预训练、Renderer预训练及轻量联合训练，通过解耦优化保持预训练模型能力，同时增强语义到视觉映射稳定性。

Bernini与主流模型对比

从当前视频生成模型发展路径来看，Bernini采用“语义规划+扩散渲染”的解耦结构，与Runway Gen-4/4.5、Pika及Luma Dream Machine的端到端扩散路线形成明显技术分化。Bernini的核心优势在于将生成过程拆分为语义理解与视觉生成两个阶段，使复杂编辑任务从像素级控制转向语义级控制，从而提升多参考输入与局部编辑的一致性表现。相比商业闭源模型，Bernini在可解释性与可控性方面更具优势，但在极致视觉细节与生产级稳定性方面仍依赖硬件规模与推理优化。

如何使用Bernini

1. 环境配置：安装Python 3.11与CUDA 12.4环境，配置PyTorch 2.5.1及diffusers框架，GPU推荐H100以支持FlashAttention-3加速。
2. 代码下载：通过Git克隆Bernini仓库并安装依赖pip install -r requirements.txt，确保transformers与accelerate版本匹配推理框架。
3. 模型加载：下载Bernini-R-Diffusers权重并通过–config加载模型，避免手动配置high-noise与low-noise双模型路径。
4. 任务执行：通过infer_single_gpu或torchrun启动任务，选择t2v、i2i或v2v模式，配置num_frames与fps控制输出视频结构。
5. 效果优化：启用prompt enhancer接口优化语义输入，通过增加参考图像或视频提升生成一致性与细节稳定性。

Bernini相关资源

• 项目官网：https://bernini-ai.github.io
• GitHub仓库：https://github.com/bytedance/Bernini
• HuggingFace模型库：https://huggingface.co/ByteDance/Bernini
• arXiv技术论文：https://arxiv.org/pdf/2605.22344

Bernini的局限性

• 算力依赖较高：在480p/16fps标准输出下仍需H100级GPU支持多卡推理，主要由于DiT扩散模型计算复杂度较高，限制轻量设备部署能力。
• 生成分辨率限制：当前默认输出以480p为主，高分辨率生成需额外配置参数与算力扩展，原因在于扩散过程显存占用随分辨率平方增长。
• 实时性不足：视频生成基于批量扩散推理机制，无法支持严格实时视频生成场景，主要受限于多步去噪计算流程。

Bernini的典型应用场景

• 广告生成场景：输入产品图像，生成动态展示视频，通过材质与光照一致性建模实现电商级视觉表达。
• 影视预演场景：输入分镜关键帧生成连续镜头，用于虚拟拍摄与镜头设计验证，提高前期制作效率。
• 视频二次创作：对已有视频进行风格、天气或动作编辑，实现低成本内容再创作。
• 虚拟角色生成：基于多角度参考图生成一致性角色视频，用于数字人或IP构建。
• 空间场景生成：输入场景关键帧生成连续镜头，用于游戏场景与虚拟空间漫游构建。

Bernini常见问题