Karpo Decision 31B 是 MachinePulse 于 2026 年 11 月开源的 面向智能体的决策模型,主要用于替智能体做高频、低延迟的判断:输入一段状态与若干带选项的问题,一次前向推理返回各选项的概率,不生成文本,适用于浏览器动作选择、工具调用排序、任务完成判定与搜索结果筛选等场景。
| 基础信息 | 内容 |
|---|---|
| 产品定位 | 面向智能体的开源决策模型 |
| 出品方 | MachinePulse Pte. Ltd. |
| 发布时间 | 2026 年 11 月(官方未披露具体日) |
| 参数规模 | 31.3B(bf16),另含读出层 |
| 基础模型 | google/gemma-4-31B-it 微调 |
| 输入类型 | 文本与图像,可带截图 |
| 题型 | 选择题、判断题、评分题 |
| 上下文长度 | 每序列 32,768 token,超限按题拆分 |
| 许可协议 | Apache-2.0,随附 Gemma 4 许可 |

Karpo Decision 31B 的核心能力
Karpo Decision 31B 的输出是概率而不是文字:它把每一步判断整理成一组带选项的问题,一次前向推理算完全部答案。
一次前向推理给出每个选项的概率
每个选项编码成选项代码,题目分支末尾留有固定读出位,线性读出层为 255 个代码打分,再对该题自己的选项做 softmax 得到概率。整条路径不做解码,输出 token 数为零,答案必落在选项内,不会生成候选之外的动作。同一思路在站内另有 SemIf 与 Kev 两篇记录。
一道题最多 255 个候选,多道题同批算完
一个请求由一段状态与任意多道题组成,编码为一条序列:题单、状态,再是每题自己的分支。分支注意力让每个分支只读共享块与自身,题与题互不干扰;共享状态只算一次,题量增加不带来成倍开销。状态可放文本、JSON 与图像,网页场景把视口截图放在 state.viewport_screenshot。
选择题、判断题与评分题三类题型
choice 在最多 255 个带键与描述的选项中分配概率,用于动作、工具或候选结果的选择;noul 返回「真」的概率,适合判断任务是否完成;score 按调用方描述的等级刻度返回期望等级与各等级概率,用于排序。三类共用同一读出层。
单卡起服务,Python 接口与 HTTP 两种调用方式
权重占 62.5 GB,一张 GPU 即可加载,长请求占用更高。进程内用 Decider 接口,把 state 与 questions 交给 decide() 取答案;对外服务按 System One 协议接收 POST /v1/systemone。
从 0.8B 到 31B 共六档尺寸
同批开放 31B、12B、9B、4B、2B 与 0.8B 六档,底座取自 Gemma 4 与 Qwen3.5;端侧另有 APUS-OpenJev-v1。
Karpo Decision 31B 与同类决策模型的对比
下表按产品定位、参数规模、权重与许可等维度,对照 Karpo Decision 31B 与两款同赛道决策模型。
| 对比维度 | Karpo Decision 31B | GLiDE 27B | Jev 1.14 |
|---|---|---|---|
| 产品定位 | 面向智能体的开源决策模型 | 开放权重的决策模型 | 决策模型,未开放权重 |
| 参数规模 | 31.3B,Gemma 4 微调 | 26.1B,Qwen3.8 微调 | 未公开 |
| 权重与许可 | Apache-2.0,权重代码公开 | 权重在 Hugging Face 开放 | 未公开,经托管接口 |
| Decision Index 完整分 | 73.86,并列第一 | 73.37,并列第一 | 60.24 |
| 单请求中位延迟 | 94.3 毫秒 | 122.4 毫秒 | 196 毫秒,含往返 |
| 校准误差 | 4.8 个百分点 | 2.1 个百分点 | 未公开 |
| 价格 | 权重免费,自备单卡 GPU | 权重免费,自备单卡 GPU | 按调用计费 |
- 表格内数据来源:Karpo Decision 31B 一行取自官方模型页与 Hugging Face 模型卡;GLiDE 27B 与 Jev 1.14 两行取自 Decision Index 榜单数据(2026 年 11 月 21 日生成)。Jev 1.14 的延迟含网络往返,口径不同。
- 产品对比简述:决策质量上 Karpo Decision 31B 与 GLiDE 27B 以 73.86 与 73.37 并列第一,Jev 1.14 为 60.24;延迟上 Karpo Decision 31B 的 94.3 毫秒低于 GLiDE 27B 的 122.4 毫秒;校准误差上 GLiDE 27B 更小。
端侧另有 APUS-OpenJev-v1 一篇记录:
Karpo Decision 31B 的应用场景与适用人群
把每一步判断从生成式调用里拆出来时,常见场景包括:
- 浏览器操作:在页面编号元素之间选下一步动作。
- 工具调用:几十个工具待选时,一次请求给出各工具概率,按阈值决定调用或追问。
- 任务收尾:判断目标是否达成,决定继续、换路还是交回人。
- 结果筛选与审校:检索结果按相关性打分,或按等级刻度为文档与代码改动评分。
适用人群:适合自建智能体、要把每一步判断的延迟与费用压下来的开发团队;要开箱即用对话能力或由厂商托管调用的场景不适用,业务判定类的落地方式可参考 LingDT-Decision-1.0。
Karpo Decision 31B 的使用方法
官方给出的 2 条路径按入口区分:一条在网页上直接试,一条装到本机 GPU。
网页体验:在模型页的 playground 里直接试
- 打开 Karpo Decision 31B 官方模型页,页面中部即 playground:上方填写状态与问题,下方返回概率。
- 按示例填写状态,问题类型在 choice、noul、score 之间选,提交后读取各选项概率与置信度。
- 需要对照时可打开 Ten Appetites 与 City Scanner 两个演示页,后者把同一组 36 场活动同时交给通用大模型与本模型。
本机部署:装推理代码,单卡起服务
- 准备 Python 3.12 及以上与一张 GPU。
- 执行
pip install "karpo-decision @ git+https://github.com/machinepulse-ai/karpo-decision"装推理代码。 - 用
huggingface_hub的snapshot_download("MachinePulseAI/karpo-decision-31B")拉权重到本地。 - 进程内调用用
Decider.from_pretrained(path, device="cuda")构造入口,向decide()传 state 与 questions。 - 需要独立服务时用
torchrun启动karpo_decision.serve.server,指定--checkpoint与--port。

它不是对话模型:官方写明生成能力未做评估。单序列默认 32,768 token;超出按题拆分、各带完整状态,单道题仍超出则返回 422,不做截断。开启 Triton Attention 后 31B 的序列上限可至 131,072 token。
Karpo Decision 31B 的项目地址
- 官方模型页与 playground:https://karpo.ai/models/decision
- Hugging Face 权重与模型卡:https://huggingface.co/MachinePulseAI/karpo-decision-31B
- 推理代码仓库:https://github.com/machinepulse-ai/karpo-decision
Karpo Decision 31B 的价格与开源情况
权重与推理代码都以 Apache-2.0 发布(权重 2026-11-16 重新授权),官方没有为模型单设定价页,成本落在自备算力。
- 权重与推理代码:Apache-2.0,可从 Hugging Face 与 GitHub 免费获取,允许商用;Gemma 4 许可随附,需一并遵守。
- 自托管成本:按 62.5 GB 权重与单卡估算,随 GPU 与租用方式变化。
- 托管调用:官方未公布价格;接入第三方决策模型服务时由其结算。
Karpo Decision 31B 的常见问题
Karpo Decision 31B 收费吗
权重与推理代码以 Apache-2.0 发布,下载与使用不收费,费用产生在自备 GPU 上;托管调用官方未公布价格,经第三方服务接入按其计费。
能当聊天模型用吗
不能。官方写明它不是对话或文本生成模型,生成能力未做评估;按普通对话模型加载会得到不一致的回答。它的输出是选项概率,不是文字。
需要多少显存
权重以 bf16 存放占 62.5 GB,长请求更高;官方示例部署为一张 GPU,峰值显存未披露。
和通用大模型相比省在哪里
省在生成环节:不逐字吐答案,一次前向推理返回整组选项概率,输出 token 为零;交给通用大模型要先生成再解析。
浙公网安备33010202004812号