AuK – 腾讯混元开源的语音生成与编辑基础模型

AuK 是一款由腾讯混元于 2026 年 9 月开源的语音生成与编辑基础模型，主要用于以自然语言指令驱动语音合成、原句改写与声学属性调整，支持零样本音色克隆与 4 步蒸馏的 Flash 版本，适用于有声内容制作、录音后期修正与语音数据集清洗等场景。

AuK 的核心能力

它把语音的生成与修改收进同一个消息式接口：一段文本指令加上可选的原音频，模型自行判断该做哪一类处理，再输出等长或指定时长的结果。这类基础模型在 AI 模型 分类下按能力类型归入语音一组。

一套指令接口覆盖 16 类语音任务

官方把任务分为语音生成、内容编辑、声学编辑、副语言编辑、增强与分离五组，全部通过 --instruction 的自然语言描述触发，不必为不同任务切换权重。命令行 auk-infer、Python 侧的 AukInfer.generate() 与 Gradio 共用同一套消息结构。

内容改写：替换、插入与删除原句

内容编辑针对「说了什么」。指令里写明把哪一句换成什么，模型在保留说话人与韵律的前提下重写这段语音；同一接口也处理歌词改写，换词时保留原曲旋律与演唱音色。对有稿修改需求的配音返工最直接，不必重新录制整段。

副语言属性调整：情绪、音色、口音与非语声

副语言编辑改的是「怎么说」：按描述调整情绪与音色，去掉方言口音而保留本人声音，删除或补入呼吸、笑声这类非语声，也能在正常语音与耳语之间转换。声学编辑处理音高、语速与音量，语速调整后输出长度随倍率变化。

增强与分离：从混合音频里取回目标人声

降噪、去混响与人声修复属于同一组调用，指令里说明保留什么、去除什么即可。分离可按说话顺序保留指定人、从音乐混音中抽取演唱轨，也能按「说了哪句话」定位目标说话人做定向抽取。

两档推理：Base 保质量，Flash 走四步

AuK-Flash 是蒸馏版本，固定 4 步采样且 CFG 设为 0，换取更短的出结果时间；Base 版本保留可调的采样步数与 CFG。两者共用同一份 Qwen2.5-Omni-3B 文本编码器，通过 --ckpt 指向不同权重即可切换。

AuK 与同类语音生成编辑模型的对比

三款开源语音模型都把合成与修改放在同一套权重里，差别落在编辑覆盖的范围、部署形态与许可条件上。

上表 AuK 一列取自其仓库说明与项目主页，另两列分别取自 FireRed 团队与 FunAudioLLM 官方仓库。三款的差别集中在编辑范围：AuK 把降噪、去混响与人声分离也算进指令体系，另两款重心在合成与语音内属性调整。推理部署上 AuK 入口最多，ComfyUI 与 Apple Silicon 都支持，后者走 MLX 分支。模型形态上只有 AuK 给了专门的四步蒸馏版本。

如果想先看同赛道里更轻量的中文合成方案，可以参考 dots.tts（小红书开源的连续自回归语音合成模型，权重与代码同样公开）。

AuK 的应用场景与适用人群

同一套指令接口在不同环节承担不同角色，常见场景包括：

• 有声内容返工：旁白读到某句才发觉措辞不顺，用内容编辑替换该句，前后语气与音色保持一致，不必整段重录。
• 配音素材整理：把多人访谈按说话顺序拆成单人轨，再逐轨降噪与去混响，入库前完成基础清洗。
• 口音与情绪适配：同一位配音员的录音按不同地区版本调整口音，或按平台改写情绪强度。
• 数据集构建：批量生成带指定情绪、语速与音色的语音样本，供下游识别与合成系统训练或评测使用。

适用人群：语音合成与音频处理方向的算法团队、需要批量返工配音的有声内容制作方，以及为识别模型准备语料的工程团队。

AuK 的使用方法

官方给出 3 条路径：先在演示空间试听，再决定走本地命令行还是图形界面。

在线体验：在演示空间里先跑一遍官方样例

1. 打开 Hugging Face 的 tencent/AuK 演示空间，或 ModelScope 上的同款 Studio 页面。
2. 选一个官方样例音频，把指令改成自己要做的处理，例如把耳语转成正常语音。
3. 对比输出与原始音频，确认任务识别正确后再进入本地部署。

本地命令行：拉代码、取权重、单行调用

1. 克隆 AuK 官方仓库，用 uv venv --python 3.10 或 conda create -n auk python=3.10 建独立环境。
2. 按用途选安装目标：只要推理装 uv pip install -e .，需要界面或训练再叠加 [gradio]、[comfyui] 扩展。
3. 下载三份权重：hf download tencent/AuK、可选的 hf download tencent/AuK-Flash，以及文本编码器 hf download Qwen/Qwen2.5-Omni-3B。
4. 执行 auk-infer 并传入音频、指令与输出路径，再用 --gen_seconds 指定目标时长；指令里要写清替换哪一句或保留哪一路人声。
5. 显存不足时追加 --cpu_offload；改用 Flash 版本则把 --ckpt 指向 auk_flash.safetensors。

图形界面：Gradio 面板与 ComfyUI 工作流

1. 启动 auk-gradio，在标准目录结构下会自动识别 ckpts/AuK 与 ckpts/AuK-Flash 里的权重。
2. 在网页里选模型档位、上传音频或只填描述，采样步数与 CFG 仅 Base 版本可调。
3. 要在 ComfyUI 里串流程，把 comfyui/ComfyUI-AuK 链接进 custom_nodes，再打开内置的 auk.json 工作流。

Prompt Enhancer 需要 OpenAI 兼容的大模型接口，官方示例用腾讯云 TokenHub；不配置也能用，只是指令要写得更具体。ComfyUI 集成对单次输入与输出有 30 秒上限。

AuK 的项目地址

• 项目主页（任务演示与技术报告入口）：https://auk-project.github.io/
• GitHub 主仓库（代码、权重下载与训练脚本）：https://github.com/Tencent-Hunyuan/AuK

AuK 的价格与开源情况

AuK 的代码与权重按 MIT 协议发布，商用、修改与再分发都不需要授权费，也不设营收门槛；仓库 LICENSE 为完整条款原文。

成本集中在推理硬件。官方在单张 A800-SXM4-80GB 上以 bf16 实测：纯文本输入生成 1.5 秒语音峰值显存 24.78GiB，带 5 秒参考音频时 25.00GiB；开启 --cpu_offload 后分别降到 16.75GiB 与 16.98GiB。该数字取自 torch.cuda.max_memory_allocated，实际占用随输入长度与精度浮动。

AuK 的常见问题