ERNIE-5.5-Flash-Base – 百度开源的280B稀疏MoE基座模型

ERNIE-5.5-Flash-Base 是百度于 2026 年 11 月发布的稀疏 MoE 语言基座，总参数 280B、每 Token 激活 14B，在 33.5T Token 上从零预训练，微调与推理支持 1M Token。它发布的是预训练结束时的权重，MMLU-Pro 得 78.4、HumanEval+ 82.3，高于官方同批对比的三款同级基座，但中文知识与长文检索仍有落后，适用于领域继续预训练与指令微调。

ERNIE-5.5-Flash-Base 的核心能力

ERNIE-5.5-Flash-Base 的取舍很明确：把「后续还要接着训」当成设计前提，于是注意力、专家层、输出头三处都在压成本，而不是先追能力再压缩。以下按五项能力逐条说明。

用压缩缓存加稀疏索引撑起 1M 上下文

43 层里 37 层用压缩注意力：每 128 个 Token 压成一条缓存，再叠一小段未压缩的近期 Token，这层仍看得到整段序列，却只缓存全量注意力的一小部分。逐 Token 保留全量历史的只有 6 层，靠轻量索引器给历史位置打分，核心注意力只算分数最高的若干位，这部分计算不随上下文长度增长，压缩层则按缓存总量计。长上下文这条线上，站内 Hy3 preview 记录的是腾讯混元另一套做法。

多路由器潜空间 MoE，降低路由误差的影响

常规 MoE 用一个路由器做硬性前 k 选择，被排除在 top-k 之外的专家拿不到该 Token 的梯度，路由器也得不到选错了的信号，错误会自我强化。这里改成多个独立初始化的 sigmoid 路由器联合打分：一个专家可能因某一路由器强烈偏好入选，也可能因多个路由器共同偏好入选，单路由器的误差不再直接决定结果。每层先把 Token 投到 2048 维潜空间，专家在其中完成计算，再由共享上投影还原。

让主干自己预测后一个 Token，而不是另挂模块

多 Token 预测的常规做法是给主干外挂模块去预测未来 Token，未来 Token 的损失主要在训那套附加模块，主干依然只学下一个 Token。这里改成 ECHO：复用主干最后一层预测未来 Token，没有独立预测层，未来 Token 的损失落在产出下一个 Token 的同一批参数上。这一层还能当投机解码的草稿模型，接受率高于同法训练的辅助模块。官方未将 ECHO 的 0.36B 附加参数计入 280B 总参。

输出头与残差连接的两处小改动

单一 softmax 温度是个两难：调低会把分布变尖，连带压掉其他合理 Token；调高又让不可能的长尾变厚。MultiMax 换成可学习的分段温度，在 Triton 融合的交叉熵核里于 softmax 之前重标 logits，既压掉不合理长尾，又保住几个合理候选，训练开销可忽略且不额外占显存。残差连接换成 mHC：每层通过受约束的混合矩阵向 4 条并行残差流读写，层间通道更宽，额外算力极小。

为这次训练单独搭的两套系统组件

Muon 优化器对整个参数矩阵做正交化更新，不像 Adam 逐元素处理，通信与显存分布都要重做。官方把稠密参数同步并到 MoE 专家并行的同一条路径，两组传输合成一次集合通信；分片改成跨节点均衡，避免前几个节点扛下大部分优化器状态。另一件是 FlashMask-4：大 head 维度下常规核会撞上共享内存上限，它用 2-CTA 分块并行绕开，SM100 上正向快 175％、反向快 74％。

ERNIE-5.5-Flash-Base 与 Ling-3.0-flash-base、文心 5.1 的定位对比

下表从发布时间、权重形态与许可等维度，对三款模型的定位逐项对照；它们与官方同口径评测所用的那三款基座不是同一组。

• 表格内数据来源：ERNIE-5.5-Flash-Base 一行取自百度官方发布页与 Hugging Face 模型卡；Ling-3.0-flash-base 与文心 5.1 两行取自站内既有评测页，本次未用 ERNIE 官方资料核验；三列均未经本站实测。
• 产品对比简述：产品定位上 ERNIE-5.5-Flash-Base 与 Ling-3.0-flash-base 同属可接续训练的基座权重，文心 5.1 是完成过后训练的多模态平台；权重形态上 ERNIE-5.5-Flash-Base 给 FP8 与 BF16，文心 5.1 只开放接口。

这次同口径对比的三款开放权重基座里也有小米的 MiMo-V2.5 系列，站内那篇写了它的全模态与 1M 上下文规格。

ERNIE-5.5-Flash-Base 的应用场景与适用人群

手里有多卡算力、又不想从零跑预训练的团队适用；只想要一个能直接对话的模型，等它后训练版就行：

• 领域继续预训练：在通用基座上注入行业语料，省掉重跑 33.5T Token 的算力。
• 指令微调与对齐实验：以同一个检查点为起点比较不同微调配方，变量更干净。
• 强化学习研究：基座未做后训练，奖励建模与策略优化不受既有对齐偏置干扰。
• 长上下文任务：1M Token 的微调与推理窗口可覆盖整库代码与超长文档。

适用人群：适合大模型研究者、后训练工程师与有算力预算的团队；个人开发者想直接对话，等官方后训练版更合适。想对照已完成后训练的国产主力模型，站内 DeepSeek V4.1 Flash 写的是另一条路线。

ERNIE-5.5-Flash-Base 的使用方法

官方给的两条路径分别面向试用与上线：一条用 Transformers 在本机加载权重，一条用 SGLang 或 vLLM 起服务走 completions 接口。完整架构说明与全部评测表见官方 ERNIE 5.5 Flash Base 发布页。

在本机用 Transformers 加载权重

1. 先在 Hugging Face 上取得权重仓库访问权，按显存选 FP8 或 BF16 版本，280B 总参需要多卡环境。
2. 按官方示例用 AutoTokenizer 与 AutoModelForCausalLM 加载：BF16 版本把 torch_dtype 设为 bfloat16，FP8 版本按各自仓库的加载要求配置，不能套 BF16 参数；device_map 交给 auto 分片。
3. 分词时保持 add_special_tokens=True：模型要求每段输入开头带 BOS，缺了会直接影响输出质量。
4. 先跑一段短续写确认权重与分词器版本匹配，再做批量推理，避免把加载问题误判成模型能力问题。

用 SGLang 或 vLLM 暴露 completions 接口

1. 按所选框架的模型卡说明拉起服务，两个框架都通过 completions 接口对外提供，不必另写适配层。
2. 把上下文长度按实际需要配置：预训练用了 128K，微调与推理可放到 1M，但显存占用随之上升。
3. 长文任务优先压批大小而不是砍上下文，压缩注意力层的缓存开销本就低得多。
4. 微调按官方 ERNIE 5.5 示例对齐语料格式与训练脚本，减少配置偏差。

三点需留意：许可为百度自定义协议，商用前先读全文，不能按 Apache 或 MIT 的惯性理解；1M 上下文是微调与推理窗口，预训练用的是 128K；ECHO 层兼作投机解码草稿模型，启用后解码吞吐会有差别。

ERNIE-5.5-Flash-Base 的项目地址

• 官方发布页：https://ernie.baidu.com/release/ernie-5-5-flash-base/
• Hugging Face 权重页：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

ERNIE-5.5-Flash-Base 的价格与开源情况

权重本身免费开放下载，成本落在自备算力上；官方尚未发布完成度更高的后训练版本，也没有可查的接口价目。

• 权重获取：FP8 与 BF16 两种 safetensors 在 Hugging Face 开放，下载不收费。
• 许可范围：适用百度模型许可协议 v1.0，商用与再分发以协议原文为准。
• 接口定价：官方未公布该基座的 Token 单价，按量计费的价目表尚未发布。
• 成本构成：支出集中在多卡显存与推理时的专家调度上。
• 后续版本：官方明确后训练的 ERNIE 5.5 Flash 随后发布，届时才有接口计费。

费用口径目前只能写到「权重免费、算力自付」这一层：权重下载本身不产生调用费用，官方也未给出托管服务报价，实际支出取决于自建集群的卡型与时长。真正需要比价的是后训练版发布之后的接口价格，那要等官方公布。

ERNIE-5.5-Flash-Base 的常见问题