VibeThinker-3B – 微博开源的 30 亿参数推理模型，AIME26 拿到 94.3

VibeThinker-3B 是微博 AI 团队（WeiboAI）于 2026 年 6 月开源的30 亿参数稠密推理模型，主要用于数学竞赛、编程题求解与带显式约束的指令跟随，支持 64K 长上下文训练与推理期的断言级自评扩展，适用于竞赛题解法探索、小样本消融实验与可验证推理链路的离线验证等场景。

VibeThinker-3B 的核心能力

官方用参数压缩-覆盖假说解释：可验证推理信号清晰、可压缩性高，任务足够结构化时小模型也能接近前沿；开放域知识要靠大参数覆盖事实。站内的 1-bit Bonsai 压的是权重精度，这里压的是参数总量。

参数效率：3B 站在哪条线上

IMO-AnswerBench 由 400 道 IMO 级题目构成。官方并列参数与分数：3B 得 76.4，CLR 后 80.6；DeepSeek V3.2 是 78.3（671B）、Kimi K2.5 是 81.8（1T）、GLM-5 是 82.5（744B）。它已进入这条分数带，参数差了两三百倍。

竞赛数学题求解

数学套件为 AIME25 91.4、AIME26 94.3、HMMT25 89.3、BruMO25 93.8。这几组是各年度已公开的竞赛题，官方未说明训练数据的截止时间；分数高不等于已证明这些题目没出现在训练集里。

编程题求解与判题

LiveCodeBench v6 上 Pass@1 为 80.2，OJBench 38.6。真实判题另有一组，官方称之为分布外泛化测试：2026 年 4 月 25 日至 5 月 31 日的 LeetCode 周赛与双周赛新题，8 场各 16 题共 128 次首次提交，通过 123 次，96.1％。

推理期自评扩展 CLR

CLR 全称 Claim-Level Reliability Assessment，是官方 2026 年 8 月单独发表论文与代码的测试期扩展方法，不更新模型参数，也不是另一个权重版本。流程两步：每题按同一套参数生成 32 条候选轨迹，每条抽 5 条影响关键决策的断言；再让模型当自己的验证者逐条证伪或证实，按判定算可靠性分，等价答案聚簇后取加权分最高的。整条流程跑 8 次取平均，才有 97.1 与 95.4。论文编号 arXiv 2608.11994，代码在 github.com/WeiboAI/CLR。

升级版后训练流程

SFT 分两段：先铺开数学、代码、STEM 与指令跟随的覆盖，再切到更难更长的推理样本，用多样性蒸馏保留多条解法。RL 复用 MGPO 依次作用于三个领域，训练用单个 64K 窗口保留完整长程推理轨迹。之后把高质量轨迹蒸馏回一个学生模型，再用规则校验与评分模型做指令强化学习。完整复现仍取决于数据合成细节与算力。

同样的流程能搬到更小的模型

官方把 1.5B 版本的后训练成本记为 7,800 美元，同段对照是 DeepSeek R1 的 29.4 万美元与 MiniMax-M1 的 53.5 万美元。这个数字属于 1.5B 那一代，3B 没有公布同等口径，不能直接搬过来当 3B 的成本。

VibeThinker-3B 与 Qwen2.5-Coder-3B 的对比

后者是前者明示的起点，并列能看清后训练加了多少。下表只列可核实的结构项与官方成绩。

差异集中在三处。后训练路线解释同参数下的分数落差：基座面向代码语料预训练，没有面向可验证推理的强化学习阶段，后者的预算全押在这一层。训练语料上基座有 5.5 万亿 token 的广度，含源代码与文本-代码对齐，这是它在代码补全类任务上的底子。推理期扩展是时代差，CLR 属于 2026 年的方法，不能读成基座不支持所以更弱。

授权必须单独讲：本模型权重按 MIT 发布，允许商用；底座 Qwen2.5-Coder-3B 用的是 Qwen 研究许可，写明仅限研究与评估，商用要向阿里单独申请。把两者当成同一件事，是选型最容易踩的坑。

同类小参数路线可对照站内的 Ling-3.0-tiny（蚂蚁百灵推出的轻量混合推理大语言模型），两边都在试参数量压下来、能力靠训练补。

VibeThinker-3B 的应用场景与适用人群

它的强项写在答案可判对错的地方。要比对同代旗舰的通用推理，Gemini 3.8 是另一条线；Beam 则用 501B 开放权重换通用推理：

• 竞赛题解法探索：一道题要多种思路时，低成本让多路采样变得划算。
• 合成训练数据：用它产出的长链推理解题过程，给更大的模型准备可验证样本。
• 推理链路验证：换基座或换后训练配方时，用它当对照组。
• 预算敏感的实验：BF16 权重约 6GB，消费级显卡能起步，但 40960 token 的生成上限会让显存先被 KV Cache 吃掉。

适用人群：适合做小模型研究、需要低成本合成可验证推理数据，或想在本地跑一个能解题的模型的团队。开放域问答、长文写作交给 3B 并不划算，官方在给出 IMO 成绩的同一节就写明了。

VibeThinker-3B 的使用方法

官方给了三条路：transformers 加载最轻，vLLM 适合并发，CLR 要按论文自己实现。权重在 Hugging Face 模型页 与 ModelScope 各有一份。

transformers 本地加载：先确认能推理

1. 安装 transformers>=4.54.0 与对应版本的 PyTorch。
2. 从 Hugging Face 或 ModelScope 拉权重，按 bfloat16 预留显存。
3. 照官方 Quick Start 加载分词器与模型，trust_remote_code 设为真。
4. 用一道 AIME 风格的题做冒烟测试，确认输出带完整推理过程。

vLLM 部署：按技术报告的参数起服务

1. 官方推荐 vllm==0.10.1 或 sglang>=0.4.9.post6，这是为更好推理性能的建议，不是已核验的兼容矩阵。
2. 以 temperature=1.0、top_p=0.95、top_k=-1 启动，这三个值是技术报告评测所用。
3. 用已知答案的题目回测；官方未随 3B 放出评测脚本，数据集与评分脚本要自备。

CLR：按官方两阶段流程自己实现

1. 每题用同一套采样参数生成 32 条候选轨迹。
2. 每条轨迹抽 5 条关键断言，让模型自评证伪或证实。
3. 按判定算轨迹可靠性分，等价答案聚簇后取加权分最高的。
4. 重复次数固定：官方独立跑 8 次取平均，不同次数不可比。

三点需留意：采样参数不等于完整复现配置，只调温度和 top_p 拿不到报告里的分数；CLR 的 32 条候选乘 8 次重复，采样量是基础推理的数十倍；量化省显存但要重测分数。另一种小参数路线见站内 星火X2.6。

VibeThinker-3B 的项目地址

• GitHub 主仓库：https://github.com/WeiboAI/VibeThinker
• Hugging Face 模型页：https://huggingface.co/WeiboAI/VibeThinker-3B
• 技术报告（arXiv）：https://arxiv.org/abs/2606.16140

VibeThinker-3B 的价格与开源情况

权重按 MIT 开放，Hugging Face 与 ModelScope 都能直接下载，商用与二次训练都不收费，也没有官方 API 计费。需留意底座：Qwen2.5-Coder-3B 是 Qwen 研究许可、仅限研究与评估，商用要单独向阿里申请。

成本落在算力上：BF16 权重约 6GB，量化后更低，长链推理的显存开销主要来自 KV Cache。训练侧 1.5B 的后训练成本官方记为 7,800 美元，同段对照 DeepSeek R1 的 29.4 万美元与 MiniMax-M1 的 53.5 万美元。

VibeThinker-3B 的常见问题