MiniCPM-o 4.5 – 全双工实时交互的开源多模态模型

MiniCPM-o 4.5 是什么

MiniCPM-o 4.5 是面壁智能（OpenBMB）推出的一款 9B 参数全模态旗舰模型，专为实时多模态交互与端侧部署设计。作为行业首个支持“即时自由对话”的全双工模型，它打破了传统回合制交互模式，实现边看、边听、边说的连续感知和表达能力。该模型集成了 SigLip2 视觉编码器、Whisper-medium 音频编码器、CosyVoice 2 语音解码器以及 Qwen3-8B 语言模型，通过稠密特征连接进行端到端联合训练，实现多模态信息在模型内部的自由流转，避免流水线式架构中常见的延迟与信息损耗。在硬件适配方面，MiniCPM-o 4.5 已支持昇腾、海光等国产芯片，并可通过 llama.cpp、vLLM 等框架高效部署，为内容创作者、开发者及企业用户提供低延迟、多模态交互解决方案。

MiniCPM-o 4.5 的主要功能

• 全双工实时交互：模型可同时接收视觉画面、音频输入，并即时生成语音输出，实现连续、多模态交互，突破传统单向或回合式对话。
• 主动智能交互：内置环境感知机制，持续监测视频和音频内容，自主决策发言时机，可用于提醒、实时评论和人机协作场景。
• 超拟人语音合成：支持高保真语音生成，情感自然，音色稳定，可进行长语音输出，同时保持音色一致性，适合虚拟角色或客服场景。
• 声音克隆与个性化语音：通过几秒参考音频即可克隆目标音色，支持多角色、情感表达和语音风格调整，满足个性化交互需求。
• 视觉理解能力：在 OpenCompass 测评中表现优异，支持高分辨率图像解析及高帧率视频实时理解，可用于监控、直播解说及远程教育等场景。
• 端到端文档解析：可处理复杂英文文档，提取表格、段落及版式信息，实现结构化信息抽取与快速分析。
• 多模态提示词支持：允许文本和音频系统提示词双重输入，可引导模型完成指定任务或控制语音风格，提升定制化能力。

MiniCPM-o 4.5 的技术原理

• 端到端全模态架构设计： MiniCPM-o 4.5 采用端到端全模态统一架构，将 SigLip2 视觉编码器、Whisper-medium 音频编码器、CosyVoice2 语音解码器与 Qwen3-8B 语言模型主干通过稠密特征连接进行联合训练。相比传统多模型流水线式方案，这种紧耦合设计使视觉、语音与语言信息能够在模型内部直接协同建模，显著减少中间模态转换带来的信息损耗与误差累积，从而提升多模态理解与生成的一致性和准确性。
• 全双工多模态实时流机制： 在推理阶段，MiniCPM-o 4.5 将原本离线运行的模态编解码模块改造为支持流式输入输出的在线版本。语音解码部分采用文本 token 与语音 token 交错建模方式，实现真正的全双工生成能力。同时，模型通过时分复用机制，将并行的音频流与视频流切分为毫秒级时间片，在统一的语言模型主干中进行调度处理，从而在单一架构内完成实时音视频的同步感知与响应。
• 主动交互决策机制： MiniCPM-o 4.5 并非被动等待用户指令，而是由语言模型模块持续监控输入的视频流与音频流内容，并以约 1Hz 的频率自动进行发言决策判断。结合全双工交互能力，模型可以根据环境变化、用户状态和上下文信息，自主选择合适的时机与内容进行回应，实现更接近人类的主动式交互体验。
• 可配置语音建模设计： 模型延续多模态系统提示词的设计思路，支持文本系统提示词与音频系统提示词的双重输入。其中，音频系统提示词用于指定目标音色特征，使模型在推理阶段仅需提供少量参考音频样本，即可完成声音克隆、角色化语音输出与风格控制。这一设计降低了语音定制门槛，提升了模型在虚拟人、客服和内容创作场景中的可用性。

如何使用 MiniCPM-o 4.5

• 下载模型权重：从官方 GitHub 或 HuggingFace 模型库获取开源权重文件，用于本地或云端部署。
• 选择部署环境：支持本地服务器、端侧设备及国产算力平台，可根据项目需求选择。
• 配置推理框架：可使用 llama.cpp、vLLM 等框架加载模型，设置流式输入输出接口，实现多模态实时交互。
• 接入多模态输入：按接口规范传入文本、图像、音频，实现语音、视觉和文本的同步处理。
• 定制语音风格：通过音频参考样本与系统提示词，实现声音克隆、角色扮演及个性化语音输出。
• 开发应用功能：可基于多模态能力开发智能助手、实时客服、教育培训或内容创作应用。

MiniCPM-o 4.5 的项目地址

• GitHub 仓库：https://github.com/OpenBMB/MiniCPM-o
• HuggingFace 模型库：https://huggingface.co/openbmb/MiniCPM-o-4_5
• 在线体验 Demo：https://huggingface.co/spaces/openbmb/minicpm-omni

MiniCPM-o 4.5 的应用场景

• 智能助手与陪伴：实时感知环境和用户情绪，提供提醒、建议或个性化情感交互。
• 实时视频交互：可应用于远程教学、直播解说、视频监控分析，支持即时语音反馈。
• 智能客服与导购：提供自然流畅的多轮语音对话与主动推荐，提升用户体验与业务转化率。
• 教育与培训：虚拟教师、语言陪练和技能培训，通过视觉演示和语音讲解结合，实现沉浸式教学。
• 内容创作与娱乐：有声读物生成、游戏 NPC 配音、虚拟角色互动，声音克隆支持个性化创作。
• 行业应用：政务、金融和企业内部系统中进行私有化部署，保证数据安全并实现智能化流程优化。
• 多模态研究与实验：科研团队可利用模型进行视觉、语音与语言的联合实验，探索多模态 AI 的新方法。