MNN-Pocket-0.3B – 阿里开源的 3 亿参数端侧语言模型

MNN-Pocket-0.3B 是阿里巴巴 MNN 团队于 2026 年 11 月开源的端侧语言模型，约 3 亿参数、28 层、词表 65,536，INT4 量化后部署包只有 173 MB。它在 iPad Pro M5 上解码 466 token/s，部署支持 32K 上下文，11 项中英评测平均 50.00，适用于手机与平板上的离线问答、信息抽取与轻量智能体。

MNN-Pocket-0.3B 的核心能力

MNN-Pocket-0.3B 的四项设计目标：指定设备解码吞吐超 200 token/s、峰值内存低于 300 MB、单次推理增量能耗不超过参考手机电池能量的万分之一、指定业务场景接近 8B 级模型效果。实测另计：iPad Pro M5 内存增量 228 MB，一加 13 单次能耗约 2.7 J，100 次约占 6000mAh 电池 0.3%。下列五项说明结构、量化与推理引擎的协同与代价。

参数尽量落在计算层，而不是词表与输出层

28 层、隐层 896、词表 65,536，词嵌入输入输出共享同一张表，省下的容量留给 Transformer 本体；65,536 词表对中英双语已经足够，不必为多语言覆盖率付额外开销。

GQA 只留 2 个 KV 头，把缓存压到移动端能接受

14 个查询头配 2 个 KV 头，头维度 64。KV 缓存按 KV 头数算；同层数、同隐藏维度与同上下文长度下，相比 14 个 KV 头的标准多头注意力，KV 缓存的头维度存储量约降至七分之一，减少的是缓存占用，不是模型总内存。这也是部署能开到 32K 的原因之一。站内 1-bit Bonsai 走另一条路：把权重压到 1 bit 省显存。

量化做在训练期，而不是事后压一遍

INT4 用 W4A16 量化感知训练，block 取 64，权重按 4 bit 读取、激活仍是 16 bit。事后量化的掉点没有出现：11 项基准平均 50.00 到 49.59 只差 0.41 分，部署包从 BF16 的约 723 MB 缩到 173 MB。小体积不是靠牺牲分数换的，是训练时就让权重适应低精度。

端侧吞吐按 512 token 上下文实测

四组吞吐取自 MNN 3.6.2、INT4 量化的 512 token 配置，预热一次、测五次取中位数：iPad Pro M5 Metal 后端 Prefill 8,721、Decode 466 token/s，CPU 为 2,228 与 231；骁龙 8 Gen 5 OpenCL 为 3,403 与 138，CPU 为 930 与 251。该组数不代表 32K 速度，OpenCL 的 Decode 离 200 token/s 目标仍有距离。

同族版本各管一段流程

模型卡列六版：Base 供继续预训练、SFT 供后训练消融、通用指令版做业务任务、GGUF 面向 llama.cpp（F16 / Q8_0 / Q4_1）、MNN 是 INT4 端侧版。Dec 通过决策头完成候选选择类任务，用 LoRA adapter 加指针头一次前向判断，不是开放式文本生成的聊天模型。另有 DFlash2 投机解码草稿模型，特定任务下解码可达常规自回归的 2.06 倍。

MNN-Pocket-0.3B 与 MiniCPM5-1B、HY-1.8B-2Bit 的定位对比

下表从参数规模、端侧量化形态及量化模型文件体积等维度，对照三款能在本地运行的模型。

• 表格内数据来源：MNN-Pocket-0.3B 一行取自 Hugging Face 模型卡与官方技术报告；MiniCPM5-1B 与 HY-1.8B-2Bit 两行取自站内评测页，三列均未实测。体积口径不同：MNN-Pocket-0.3B 为含分词器、计算图与配置的 MNN 部署包，HY-1.8B-2Bit 为量化权重文件，MiniCPM5-1B 为 GGUF 量化版，不宜直接比较。
• 产品对比简述：MNN-Pocket-0.3B 用 3 亿参数加 INT4 换到 173 MB，HY-1.8B-2Bit 把 1.8B 压到 2 bit 换约 300 MB，MiniCPM5-1B 保留 1B 参数换 131K 上下文。量化模型文件体积上 MNN-Pocket-0.3B 最小，上下文上 MiniCPM5-1B 最长。

同族版本覆盖预训练、后训练、量化与决策四个阶段；Step Edge 走另一条路，把端侧能力拆成多个模型分别发布，可对照下面这篇。

MNN-Pocket-0.3B 的应用场景与适用人群

它是给「必须在设备上把活干完」的任务准备的，云端能解决的事不必用它：

• 端侧问答与摘要：手机或平板上离线生成，断网也能出结果。
• 信息抽取：把票据、表单、聊天记录里的字段结构化，原文不出设备。
• 轻量智能体：本地工具调用与格式转换，往返时延压到毫秒级。
• 存储吃紧的设备：173 MB 部署包给图片、视频等业务模块留出空间。

适用人群：适合做端侧应用的移动开发者与嵌入式团队；高等数学、长程代码生成等重推理任务换更大模型更合适。站内 MiniCPM-V 4.7 是端侧多模态另一条路线。

MNN-Pocket-0.3B 的使用方法

官方给两条路：在本机用 MNN 命令行跑 INT4 权重，或用 Transformers 接口加载 BF16 权重。完整说明、全部评测表与对话模板见官方 MNN-Pocket-0.3B 模型卡。

在本机用 MNN 命令行编译并运行 INT4 权重

1. 取源码：git clone https://github.com/alibaba/MNN.git。
2. 编译开三个开关：-DMNN_LOW_MEMORY=true、-DMNN_BUILD_LLM=true、-DMNN_SUPPORT_TRANSFORMER_FUSE=true。
3. 取权重两种：下载已发布 INT4 版本，或进入 MNN/transformers/llm/export 执行 python llmexport.py --path /path/to/MNN-Pocket-0.3B --export mnn --quant_bit 4 --quant_block 64 自导；--path 指向模型目录，block 取 64 才与官方量化口径一致。
4. 用 ./llm_demo /path/to/MNN-Pocket-0.3B-MNN/config.json prompt.txt 完成一段续写验证，再按机型调线程与上下文。

用 Transformers 接口加载权重做对话

1. 按官方示例用 AutoModelForCausalLM.from_pretrained 加载，dtype 设 bfloat16，device_map 用 auto。
2. 提示词走 tokenizer.apply_chat_template()，模板在 chat_template.jinja，别手拼 ChatML 控制符。
3. 采样参数按官方示例：temperature=0.8、top_p=0.8、top_k=20，调参前先跑同一批提示词做基线。
4. 长文先压批大小：32K 窗口下 KV 缓存明显上涨，批量与窗口同时取最大值最容易撞内存上限。

三点需留意：部署窗口 32K、位置编码 40,960，超长序列按实际内存逐段试；INT4 平均分比 BF16 低 0.41，精度敏感的抽取任务建议两版各测一次；官方不建议用于高等数学与长程代码生成。

MNN-Pocket-0.3B 的项目地址

• Hugging Face 模型卡：https://huggingface.co/taobao-mnn/MNN-Pocket-0.3B
• MNN 推理引擎仓库：https://github.com/alibaba/MNN

MNN-Pocket-0.3B 的价格与开源情况

权重免费下载，没有托管接口也就没有 Token 价目，支出只落在自己的设备上。

• 多个版本在 Hugging Face 开放下载，不收费。
• 许可：Apache-2.0，商用与再分发按协议执行。
• 接口定价：无托管接口，无 Token 单价。
• 成本构成：设备存储与推理内存增量，INT4 包 173 MB。
• 训练服务：无官方微调 API，二次训练需自备算力。

费用口径止于「权重免费、设备自付」：官方无托管或接口报价。算账比的是同设备留给其他业务的存储与内存——173 MB 是静态占用，32K 的 KV 缓存才是运行时大头。

MNN-Pocket-0.3B 的常见问题