MiniCPM-V 4.7 – 面壁智能联合 OpenBMB 开源的端侧多模态模型

AI模型10小时前更新 老高
17 0

MiniCPM-V 4.7是面壁智能联合 OpenBMB 社区于 2026 年 10 月 13 日发布并开源的端侧多模态视觉理解模型,同步推出 35B-A3B 与 1B 两个版本,用于在手机、平板等内存受限的设备上完成看图、读文档、做题与看视频等任务,延续 MiniCPM-V 4.6 的端侧技术路线,适用于本地文档解析、实时视觉问答与离线多模态推理等场景。

基础信息内容
产品定位开源端侧多模态视觉理解模型
出品方面壁智能与 OpenBMB 社区
发布时间2026年10月13日
模型规格35B-A3B(混合专家)、1B 两个版本
开源许可Apache-2.0
端侧实测iPhone 17 Pro Max 约 3GB 内存
生成速度每秒 13+ token
视觉压缩4 倍与 16 倍混合视觉 token 压缩
支持系统iOS、安卓、鸿蒙
推理框架llama.cpp、Ollama、MLX、vLLM 等
MiniCPM-V 4.7 官方模型页截图

MiniCPM-V 4.7 的核心能力

本次开源的 MiniCPM-V 4.7 包含 35B-A3B 与 1B 两种规格,前者是该系列首次采用混合专家架构的版本,也是官方所称首个能在端侧保持无损流畅运行的开源 MoE 多模态大模型;后者在 MiniCPM-V 4.6 的基础上继续升级,面向入门级移动设备。

混合专家架构下的端侧运行

混合专家架构让模型总参数量远大于单个 token 激活的参数量,但设备内存通常无法容纳全部专家权重。官方给出的数据是,MiniCPM-V 4.7 35B 的完整权重约 65.6 GiB,是主流 16GB 设备全部内存的 4 倍多。把权重留在固态硬盘、按需读入可以完成推理,反复加载的等待却会让解码速度难以满足实时交互;限定可用专家子集虽能减少加载,却会限制模型原有的路由选择,造成能力下降。在 iPhone 17 Pro Max 上,生成速度为每秒 13+ token,占用内存约 3GB;同一模型在 iPad Pro M4 16GB 上的生成速度为每秒 17+ token。

前瞻专家调度:边算边读,生成速度提升约 5 倍

前瞻专家调度(LES)建立在两层观察之上:模型内部信息逐层累加,相邻两层的输入高度相似;路由模块给专家打分后取前几名,输入的轻微变化通常不会打乱名次。LES 把当前层的路由输入特征送入下一层的路由模块,在计算当前层的同时预测下一层需要的专家,由后台线程提前从闪存读入内存,官方称多数场景下能提前备好超过 80% 的所需专家。预取只决定提前搬哪些专家、先算哪些专家,实际调用仍由原路由模块按真实输入决定,因此开启后输出与关闭时完全一致。配合逐层混合精度量化与专家权重连续存放,官方在 iPad Pro M4 16GB 上实测生成速度平均提升约 5 倍。

输入端压缩与输出端投机解码

输入端沿用 MiniCPM-V 4.6 引入的 ViT 内提前压缩技术,该技术基于 LLaVA-UHD v4,在视觉编码器内部提前压缩视觉 token。模型支持 4 倍与 16 倍两档压缩率:4 倍模式保留更多画面细节,适合文档解析与密集文字识别;16 倍模式显存占用更少、首响更快,适合实时交互,官方给出的 16 倍压缩成绩为 MMBench 90.87、OCRBench 90.4、OmniDocBench 93.25。输出端引入了 DSpark 投机解码:先由轻量级草稿模块给出若干候选 token,再由主模型一次性并行校验,实测解码速度平均提升到原来的 1.17 倍。

34 项权威基准的成绩

官方此次共列出 34 项权威基准的测评结果,35B-A3B 的整体表现高于同档的 Qwen3.6-35B-A3B,在若干项目上也优于体量更大的 Qwen 27B 与 Gemma-4 31B。下表为官方给出的代表性分数。

评测方向基准MiniCPM-V 4.7 35B-A3B
通用视觉MMBench91.72
通用视觉MMStar80.67
数学与科学MMMU80.22
数学与科学MathVista88
文档与图表OCRBench91.2
文档与图表CharXiv Reasoning75.6
长视频LongVideoBench68.9

1B 版本在通用视觉、OCR 与多图理解上优于同档的 Qwen3.5-0.8B,以及体量更大的 LFM2.5-VL 1.6B 与 3B。

自回放微调与芯片适配

针对微调后基础能力退步的问题,官方同期开源自回放微调(SRFT):微调前先让模型回答一批覆盖通用能力的问题,筛选高质量回答,再与新任务数据混合;回放材料来自模型自身,生成一次后可在多次训练中重复使用。芯片侧,已完成与 AMD、Apple、Arm、Intel、瑞芯微、NVIDIA 等厂商的 Day 0 级适配。

MiniCPM-V 4.7 与 Qwen3.6-35B-A3B、Gemma 4 的对比

对比维度 MiniCPM-V 4.7 35B-A3B Qwen3.6-35B-A3B Gemma 4 31B
出品方面壁智能与 OpenBMB 社区阿里千问Google DeepMind
模型规格35B-A3B,混合专家架构,单 token 激活 3B35B 总参数、3B 激活,8 路由专家加 1 共享专家31B 稠密架构,总参数 30.7B
开源许可Apache-2.0Apache-2.0Apache 2.0
上下文长度官方说明未列出262,144,可扩展至 1,010,000256K
端侧运行iPhone 17 Pro Max 约 3GB 内存、每秒 13+ token官方模型卡列出 vLLM、SGLang、KTransformers官方定位覆盖高端手机至服务器,未给出端侧实测速度
推理框架llama.cpp、Ollama、MLX、vLLM、SGLangvLLM、SGLang、KTransformers官方模型卡提供 Transformers 推理示例

上表 MiniCPM-V 4.7 一列取自面壁智能官方发布说明与 Hugging Face 模型卡,Qwen3.6-35B-A3B 一列取自阿里千问官方模型卡,Gemma 4 31B 一列取自 Google DeepMind 官方模型卡。三者规格接近,侧重的部署位置不同:需要在手机或平板上本地完成多模态推理的,可以看 MiniCPM-V 4.7 的专家调度与视觉压缩设计;以服务端部署为优先的,另两款模型在官方模型卡中给出了明确的上下文长度与后端清单。

除多模态方向外,面壁智能在端侧语言基座上也有开源产品。如需了解该方向的最新成果,可以参考 MiniCPM5-2B(面壁智能开源的端侧语言基座模型,面向手机与嵌入式设备的本地推理)。

MiniCPM-V 4.7 的应用场景与适用人群

该模型面向内存与算力受限的终端设备,常见场景包括:

  • 本地文档解析:把扫描件与表格图片转为结构化内容,数据不出设备。
  • 移动端视觉问答:拍照提问、看图讲解与多图比对,离线可完成。
  • 长视频理解:对设备本地的录像做内容问答与要点提取。
  • 教育与解题辅助:识别题目与图表后给出推导过程。

适用人群:需要在终端设备上做本地多模态推理的应用开发者、对数据不出内网有要求的行业客户,以及研究端侧模型效率的团队。

MiniCPM-V 4.7 的使用方法

模型权重、推理代码与微调代码均已开源,可按以下顺序完成评估与接入:

  1. 确认硬件与系统:官方说明支持 iOS、Android 与HarmonyOS,35B-A3B 版本需预留约 65.6 GiB 的权重存储空间。
  2. 获取模型权重:两个版本的权重分别托管在 Hugging Face 与 ModelScope,仓库名为 openbmb/MiniCPM-V-4.7-35B-A3B 与openbmb/MiniCPM-V-4.7-1B,采用 Apache-2.0 许可。
  3. 核对部署方式:框架适配清单以 MiniCPM-V 4.7 官方模型页为准,推理框架包括 llama.cpp、Ollama、MLX、vLLM 与 SGLang,微调框架包括 LLaMA-Factory 与 SWIFT。
  4. 按任务选择压缩率:把 downsample_mode 设为 4 倍或 16 倍,该参数需同时传给对话模板与生成调用,前者保证占位符数量正确。

官方给出的速度数据来自 iPad Pro M4 16GB 与 iPhone 17 Pro Max 的实机测试,并依赖 LES 与投机解码同时开启;在内存更小的设备上实测速度会低于该数值。

MiniCPM-V 4.7 的价格与开源情况

MiniCPM-V 4.7 由面壁智能与 OpenBMB 社区以 Apache-2.0 协议开源,模型权重、推理代码与微调代码均可免费下载与商用,官方未设置付费授权或按调用计费的入口。成本主要落在硬件与存储侧:35B 版本的完整权重约 65.6 GiB,需预留相应存储空间,运行内存则可通过专家调度与量化压缩控制在数 GB 量级。

若暂不准备本地硬件,可先通过 Hugging Face 上官方提供的在线演示验证效果;生产环境的云端部署需要自行准备 GPU 资源,官方未给出托管的按量计费方案。

MiniCPM-V 4.7 的常见问题

MiniCPM-V 4.7 是什么?

MiniCPM-V 4.7 是面壁智能联合 OpenBMB 社区于 2026 年 10 月 13 日发布并开源的多模态视觉理解模型,提供 35B-A3B 与 1B 两个版本,其中 35B-A3B 是系列首个混合专家模型,官方称其为全球首个可在端侧无损、流畅运行的开源 MoE 多模态大模型。

35B 的模型为什么能在手机上流畅运行?

关键在于前瞻专家调度(LES)。相邻两层的输入高度相似,路由排序通常不会因轻微变化而打乱,LES 据此在计算当前层的同时预测并提前加载下一层需要的专家,把读取时间藏进计算时间。预取只决定提前搬哪些专家,实际调用仍由原路由模块决定,输出与关闭 LES 时完全一致。

MiniCPM-V 4.7 是否开源,从哪里获取?

是开源模型,采用 Apache-2.0 许可,权重、推理代码与微调代码均已开放。35B-A3B 与 1B 的权重分别位于 Hugging Face 的 openbmb/MiniCPM-V-4.7-35B-A3B 与openbmb/MiniCPM-V-4.7-1B 仓库,ModelScope 同样提供合集;官方另在 Hugging Face 部署了可直接试用的在线演示。

© 版权声明

相关文章