ControlFoley – 小米开源的可控视频音效生成与多模态V2A模型

ControlFoley快速摘要：小米开源可控视频音效生成框架

ControlFoley是小米大模型应用团队于2026年5月开源的可控视频音效生成模型，支持文本引导、文本控制与参考音频控制三类V2A任务，面向影视、游戏与短视频音频生成场景，重点解决多模态冲突下的可控生成问题。

• 模型名称：ControlFoley
• 开发公司：小米大模型应用团队
• 发布时间：2026年5月29日正式开源
• 主要功能：视频生成音频（V2A）、文本控制音频、参考音频风格迁移
• 使用要求：Python + PyTorch + GPU推理环境
• 开源情况：代码、模型权重、Demo与技术报告已开源
• 适用场景：影视后期、游戏音效、短视频创作、广告配音
• 技术特点：多模态控制 + 时空音视频编码 + 音色解耦
• 价格：完全开源（非商业API定价模式）

ControlFoley的核心优势

• 统一多任务控制能力：ControlFoley统一支持TV2A、TC-V2A与AC-V2A三类任务，通过单一框架实现文本引导、文本控制与参考音频控制，避免多模型切换带来的控制损失，在VGGSound-Test等数据集上表现出稳定生成能力。
• 跨模态冲突处理能力：在文本与视频语义冲突场景下引入控制优先机制，使模型在L3强冲突条件下仍保持较低视觉依赖度，IB指标显著下降，同时CLAP语义一致性保持稳定，提升复杂创作场景可控性。
• 时间同步精度优化：通过CAV-MAE-ST时空编码结构增强动作-声音对齐能力，在DeSync指标评估中达到0.36–0.38区间，优于多类开源V2A模型，显著降低音画错位问题。
• 音色与时间解耦机制：参考音频仅用于音色建模，通过时间-音色分离策略避免节奏干扰，使风格迁移过程中保持视频动作同步，提升AC-V2A任务稳定性。
• 开源SOTA表现：在VGGSound-Test、Kling-Audio-Eval及MovieGen-Audio-Bench等基准测试中达到开源SOTA，在IS与CLAP等指标上整体优于MMAudio与HunyuanVideo-Foley。

ControlFoley的核心功能

• TV2A文本引导配音：输入视频与文本提示生成同步音效，例如输入“滑板摩擦地面”，输出对应8秒音频，模型根据视觉动作生成语义匹配声音并进行时间对齐。
• TC-V2A文本控制生成：在视频与文本冲突情况下优先遵循文本指令，例如输入敲门视频+“金属撞击声”，输出强化金属质感音效，同时保持与动作发生时间同步。
• AC-V2A参考音频控制：输入视频+参考音频，实现音色迁移，例如输入网球击打视频+战鼓音频，输出保持击打节奏但呈现战鼓音色的同步音效。
• 多模态统一推理：支持视频、文本、音频任意组合输入，通过随机模态dropout训练，使模型在缺失条件下仍保持稳定生成能力。
• 环境与事件音生成：支持雨声、脚步、爆炸等事件级音效生成，基于扩散模型逐步生成波形结构，提高高频细节保真度。

ControlFoley的技术原理

• CAV-MAE-ST时空编码器：结合视觉与音频联合建模结构，对视频帧与音频事件进行时序对齐学习，增强动作发生时间与声音触发点的一致性，提高音画同步能力。
• 跨模态注意力融合机制：使用CLIP语义编码与音视频联合特征进行交叉注意力计算，使文本、视觉与音频信息在统一潜空间中对齐，提升多模态控制能力。
• 时间-音色解耦结构：将参考音频拆分为音色特征与时间特征，仅保留音色向量参与生成，避免节奏信息干扰视频同步结构，提高AC-V2A稳定性。
• 扩散式音频生成架构：采用Latent Diffusion方式逐步去噪生成音频频谱，在UNet结构中结合时间步控制实现高保真音频合成，降低生成噪声与失真。
• 多模态鲁棒训练机制：通过模态dropout与REPA对齐目标，使模型在单模态或多模态输入情况下保持一致输出分布，提高复杂输入环境稳定性。

ControlFoley与主流模型对比

从技术路径来看，AudioCraft与Stable Audio代表传统T2A生成模型路线，主要解决“从文本生成音频”的单模态问题；MMAudio与通义万相属于早期多模态V2A探索阶段，但在文本冲突控制与参考音频解耦方面仍存在局限。Kling-Foley作为商业闭源系统，在音画质量上较强，但缺乏可解释的多模态控制机制。ControlFoley的核心差异在于引入统一多任务框架，通过视觉-文本联合编码与时间-音色解耦，使模型在冲突场景下仍能优先执行用户控制意图，同时保持音画同步稳定性，因此在可控性与泛化能力方面形成明显优势。

如何使用ControlFoley

1. 环境配置：安装Python3.10+与PyTorch2.5环境，配置CUDA11.8以上GPU运行环境，同时安装FFmpeg用于音视频处理，确保支持音频频谱转换与解码。
2. 代码部署：通过GitHub克隆仓库并下载模型权重，执行pip install -r requirements.txt安装依赖，确保huggingface-hub用于模型加载与推理调用。
3. 输入准备：根据任务选择输入组合，如TV2A输入视频+文本提示，AC-V2A输入视频+参考音频，TC-V2A输入视频+冲突文本指令。
4. 模型推理：执行demo.py脚本，设置推理步数50–100 steps与guidance scale 5.0–10.0，通过扩散模型生成音频latent并解码输出波形。
5. 后处理导出：对输出音频进行EQ或降噪处理，导出48kHz WAV或MP3格式，并与视频进行时间轴对齐完成最终合成。

ControlFoley相关资源

• 项目官网：https://yjx-research.github.io/ControlFoley_web_page/
• GitHub仓库：https://github.com/xiaomi-research/controlfoley
• HuggingFace模型库：https://huggingface.co/YJX-Xiaomi/ControlFoley
• arXiv技术论文：https://arxiv.org/abs/2604.15086

ControlFoley的局限性

• 实时性不足：基于扩散模型的逐步生成机制导致推理延迟约1–5秒，不适用于实时语音或直播场景，主要面向离线音频生成任务。
• 计算资源依赖高：模型推理依赖GPU环境，建议16GB以上显存支持，否则在长视频或高分辨率音频生成中易出现性能瓶颈。
• 生态仍在早期阶段：虽然已开源代码与权重，但缺乏成熟商业API与标准工业级部署方案，主要用于研究与开发验证场景。

ControlFoley的典型应用场景

• 短视频创作：输入无声视频+文本提示生成同步音效，输出适配社交平台的完整音视频内容，用于提升内容完整度与沉浸感。
• 动画与游戏制作：输入角色动作视频+风格文本，生成武器、脚步或环境音，实现风格化音效设计与实时资产生成。
• 影视后期制作：输入影视片段+参考音频，实现统一音色风格控制，输出符合整片音效体系的后期音轨。
• 广告与营销内容：输入品牌视频+情绪文本提示，生成符合品牌调性的音频节奏，提高广告情绪表达一致性。
• 二创与直播内容：为直播切片或二创视频生成增强音效，使内容更具节奏感与传播性，提升用户观看体验。

ControlFoley常见问题