Karpo Decision 31B – MachinePulse推出的决策模型

AI模型7小时前更新 老高
17 0

Karpo Decision 31B 是 MachinePulse 于 2026 年 11 月开源的 面向智能体的决策模型,主要用于替智能体做高频、低延迟的判断:输入一段状态与若干带选项的问题,一次前向推理返回各选项的概率,不生成文本,适用于浏览器动作选择、工具调用排序、任务完成判定与搜索结果筛选等场景。

基础信息内容
产品定位面向智能体的开源决策模型
出品方MachinePulse Pte. Ltd.
发布时间2026 年 11 月(官方未披露具体日)
参数规模31.3B(bf16),另含读出层
基础模型google/gemma-4-31B-it 微调
输入类型文本与图像,可带截图
题型选择题、判断题、评分题
上下文长度每序列 32,768 token,超限按题拆分
许可协议Apache-2.0,随附 Gemma 4 许可
Karpo Decision 31B 官方模型页截图(含 Decision Index 分数与延迟指标)

Karpo Decision 31B 的核心能力

Karpo Decision 31B 的输出是概率而不是文字:它把每一步判断整理成一组带选项的问题,一次前向推理算完全部答案。

一次前向推理给出每个选项的概率

每个选项编码成选项代码,题目分支末尾留有固定读出位,线性读出层为 255 个代码打分,再对该题自己的选项做 softmax 得到概率。整条路径不做解码,输出 token 数为零,答案必落在选项内,不会生成候选之外的动作。同一思路在站内另有 SemIf 与 Kev 两篇记录。

一道题最多 255 个候选,多道题同批算完

一个请求由一段状态与任意多道题组成,编码为一条序列:题单、状态,再是每题自己的分支。分支注意力让每个分支只读共享块与自身,题与题互不干扰;共享状态只算一次,题量增加不带来成倍开销。状态可放文本、JSON 与图像,网页场景把视口截图放在 state.viewport_screenshot。

选择题、判断题与评分题三类题型

choice 在最多 255 个带键与描述的选项中分配概率,用于动作、工具或候选结果的选择;noul 返回「真」的概率,适合判断任务是否完成;score 按调用方描述的等级刻度返回期望等级与各等级概率,用于排序。三类共用同一读出层。

单卡起服务,Python 接口与 HTTP 两种调用方式

权重占 62.5 GB,一张 GPU 即可加载,长请求占用更高。进程内用 Decider 接口,把 state 与 questions 交给 decide() 取答案;对外服务按 System One 协议接收 POST /v1/systemone。

从 0.8B 到 31B 共六档尺寸

同批开放 31B、12B、9B、4B、2B 与 0.8B 六档,底座取自 Gemma 4 与 Qwen3.5;端侧另有 APUS-OpenJev-v1。

Karpo Decision 31B 与同类决策模型的对比

下表按产品定位、参数规模、权重与许可等维度,对照 Karpo Decision 31B 与两款同赛道决策模型。

对比维度Karpo Decision 31BGLiDE 27BJev 1.14
产品定位面向智能体的开源决策模型开放权重的决策模型决策模型,未开放权重
参数规模31.3B,Gemma 4 微调26.1B,Qwen3.8 微调未公开
权重与许可Apache-2.0,权重代码公开权重在 Hugging Face 开放未公开,经托管接口
Decision Index 完整分73.86,并列第一73.37,并列第一60.24
单请求中位延迟94.3 毫秒122.4 毫秒196 毫秒,含往返
校准误差4.8 个百分点2.1 个百分点未公开
价格权重免费,自备单卡 GPU权重免费,自备单卡 GPU按调用计费
  • 表格内数据来源:Karpo Decision 31B 一行取自官方模型页与 Hugging Face 模型卡;GLiDE 27B 与 Jev 1.14 两行取自 Decision Index 榜单数据(2026 年 11 月 21 日生成)。Jev 1.14 的延迟含网络往返,口径不同。
  • 产品对比简述:决策质量上 Karpo Decision 31B 与 GLiDE 27B 以 73.86 与 73.37 并列第一,Jev 1.14 为 60.24;延迟上 Karpo Decision 31B 的 94.3 毫秒低于 GLiDE 27B 的 122.4 毫秒;校准误差上 GLiDE 27B 更小。

端侧另有 APUS-OpenJev-v1 一篇记录:

Karpo Decision 31B 的应用场景与适用人群

把每一步判断从生成式调用里拆出来时,常见场景包括:

  • 浏览器操作:在页面编号元素之间选下一步动作。
  • 工具调用:几十个工具待选时,一次请求给出各工具概率,按阈值决定调用或追问。
  • 任务收尾:判断目标是否达成,决定继续、换路还是交回人。
  • 结果筛选与审校:检索结果按相关性打分,或按等级刻度为文档与代码改动评分。

适用人群:适合自建智能体、要把每一步判断的延迟与费用压下来的开发团队;要开箱即用对话能力或由厂商托管调用的场景不适用,业务判定类的落地方式可参考 LingDT-Decision-1.0。

Karpo Decision 31B 的使用方法

官方给出的 2 条路径按入口区分:一条在网页上直接试,一条装到本机 GPU。

网页体验:在模型页的 playground 里直接试

  1. 打开 Karpo Decision 31B 官方模型页,页面中部即 playground:上方填写状态与问题,下方返回概率。
  2. 按示例填写状态,问题类型在 choice、noul、score 之间选,提交后读取各选项概率与置信度。
  3. 需要对照时可打开 Ten Appetites 与 City Scanner 两个演示页,后者把同一组 36 场活动同时交给通用大模型与本模型。

本机部署:装推理代码,单卡起服务

  1. 准备 Python 3.12 及以上与一张 GPU。
  2. 执行 pip install "karpo-decision @ git+https://github.com/machinepulse-ai/karpo-decision" 装推理代码。
  3. 用 huggingface_hub 的 snapshot_download("MachinePulseAI/karpo-decision-31B") 拉权重到本地。
  4. 进程内调用用 Decider.from_pretrained(path, device="cuda") 构造入口,向 decide() 传 state 与 questions。
  5. 需要独立服务时用 torchrun 启动 karpo_decision.serve.server,指定 --checkpoint 与 --port。
Karpo Decision 31B 演示页界面截图(十位顾客点餐对比玩法)

它不是对话模型:官方写明生成能力未做评估。单序列默认 32,768 token;超出按题拆分、各带完整状态,单道题仍超出则返回 422,不做截断。开启 Triton Attention 后 31B 的序列上限可至 131,072 token。

Karpo Decision 31B 的项目地址

  • 官方模型页与 playground:https://karpo.ai/models/decision
  • Hugging Face 权重与模型卡:https://huggingface.co/MachinePulseAI/karpo-decision-31B
  • 推理代码仓库:https://github.com/machinepulse-ai/karpo-decision

Karpo Decision 31B 的价格与开源情况

权重与推理代码都以 Apache-2.0 发布(权重 2026-11-16 重新授权),官方没有为模型单设定价页,成本落在自备算力。

  • 权重与推理代码:Apache-2.0,可从 Hugging Face 与 GitHub 免费获取,允许商用;Gemma 4 许可随附,需一并遵守。
  • 自托管成本:按 62.5 GB 权重与单卡估算,随 GPU 与租用方式变化。
  • 托管调用:官方未公布价格;接入第三方决策模型服务时由其结算。

Karpo Decision 31B 的常见问题

Karpo Decision 31B 收费吗

权重与推理代码以 Apache-2.0 发布,下载与使用不收费,费用产生在自备 GPU 上;托管调用官方未公布价格,经第三方服务接入按其计费。

能当聊天模型用吗

不能。官方写明它不是对话或文本生成模型,生成能力未做评估;按普通对话模型加载会得到不一致的回答。它的输出是选项概率,不是文字。

需要多少显存

权重以 bf16 存放占 62.5 GB,长请求更高;官方示例部署为一张 GPU,峰值显存未披露。

和通用大模型相比省在哪里

省在生成环节:不逐字吐答案,一次前向推理返回整组选项概率,输出 token 为零;交给通用大模型要先生成再解析。

© 版权声明

相关文章