Laya – 开源的非自回归 AI 决策模型，单次前向输出结构化结果

Laya是一款于2026年9月开源的非自回归 AI 决策模型，主要用于接收状态文本与一组带类型的问题、通过一次前向传播直接返回结构化结果与校准后的概率，支持把模型用于分类、打分与是非判断而非文本生成且单题延迟约 33 毫秒，适用于工单分流、内容合规判断、提示攻击拦截与批量标签标注等自动决策场景。

Laya 的核心能力

Laya 与常见的对话模型走的是两条路：它不逐字生成，而是为每个候选选项分配位置，一次前向输出全部 logits 并归一化成概率。对需要把判断接入自动化流程的场景，这种 AI 模型 形态省去了解析文本的步骤。

单次前向判定

输入一段状态加一组类型化问题，一次前向传播直接返回结构化结果。不生成文本意味着没有解析负担，也不会出现编造内容的问题，判断结果可以直接进入下游逻辑。

三类决策算子

choice 用于在候选项中给出各项被选中的概率，score 在有序量表上输出分值分布，noul 则回答是非题并返回成立概率。三类原语覆盖了分类、打分与判断这三类最常见的结构化决策。

语种自动分流

内置路由器在极短时间内检测输入的语言与字符集，自动分发到英文或多语言版本。由于英文模型在非拉丁文字上会以高置信度给出错误答案，路由必须在推理前完成，这一点对多语言场景很关键。

概率标定

出厂权重存在过度自信，可按问题类型与选项数在自有数据上拟合温度参数，校准后平均误差明显下降。只有完成这一步，输出概率才适合直接驱动自动放行与人工复核的阈值判断。

置信阈值控制

在概率具备统计意义的前提下，可以设定阈值把高置信结果自动放行、低置信结果转人工。对需要控制误判成本的业务，这层机制比单纯提高模型规模更直接。

预置流程模板

提供模型路由、提示注入防护、内容安全审核与工单分诊等预置问题模板，开箱即可对照使用。对刚接触结构化决策的使用者，这些模板也是理解原语用法的入口。

本地适配训练

仓库附带可运行的笔记本，可以用自有数据走完造数据、训练、温度拟合与评测的全过程。企业可以在不共享原始数据的前提下，把判断标准调整到贴合自身业务。

开源与自托管

采用 Apache-2.0 协议并开放权重，可以自行部署、自行修改。相比按调用量计费的闭源接口，长期高频使用时成本结构完全不同，也更容易满足数据不出内网的要求。需要通用生成能力时，豆包大模型 这类通用模型仍是常规选择。

Laya 与同类决策方案的对比

下表从交付形态、延迟与输出类型几个维度，对比 Laya 与通用大模型的差异。

两类方案解决的问题并不重叠：通用大模型适合需要自然语言输出的场景，按调用量计费、不用自己运维。交付形态上，前者给文本、Laya 给结构化结果；单题延迟上，一次前向的确定性输出把等待压到最短；概率校准上，分数可以直接当阈值用；成本结构上，开源权重与自建推理让支出与调用量解耦。取舍在于把判断从文本生成里拆出来。

如果希望把这类判断节点接进已有的自动化流程，也可以参考 n8n（一款工作流自动化平台，与 Laya 同属流程编排方向，差异在于它负责串联各环节，具体判断能力仍需由模型提供）。

n8n

开源可视化流程编排与效率提升方案工具

Laya 的应用场景与适用人群

作为面向结构化判断的模型，它的典型用途包括：

• 工单分流：读取工单文本后输出类别与优先级，高置信结果自动派发、低置信转人工。
• 内容合规判断：对文本做是非判断并给出成立概率，用于前置过滤。
• 提示攻击拦截：判断输入是否包含越权指令，作为调用大模型之前的一道闸门。
• 客服意图识别：把用户消息归类到具体业务场景，衔接后续的处理流程。
• 批量标签标注：对大批量文本做分类与打分，用于数据整理与语料构建。
• 多语言场景接入：借助自动路由处理混合语种的输入，避免选错模型导致的误判。
• 研究复现：作为小型结构化决策基线，用于对比不同方案在自有数据上的表现。
• 流程改造评估：在把人工判断替换为模型判断之前，用现有数据评估可行的准确率上限。

适用人群：需要把判断环节接入自动化流程的后端与应用开发者、关注数据合规与自托管成本的技术团队，以及研究结构化决策方案的研究人员。

Laya 的使用方法

官方仓库给出的接入流程大致分为六步：

1. 安装依赖：在 Laya 仓库 查看当前版本说明，再执行 pip install laya 安装包，需注意接口仍在迭代。
2. 载入模型：初始化路由器并开启预加载，避免冷启动时反复重建模型。
3. 初始化状态：把待判断的文本整理成字典结构，字段可自定义，支持任意语言内容。
4. 描述任务：用 JSON 描述一组类型化问题，指定类型为 choice、score 或 noul，并写入选项或量表。
5. 执行与读取：调用 router.predict(state, questions) 获得结果，再从返回结构中取出标签、分值或概率，路由信息会说明所选版本。
6. 设置置信阈值：先在自己的数据上做温度拟合，再对置信度设阈值，把高置信结果自动放行、低置信转人工。

项目地址与模型权重分别托管在代码仓库与模型库中，安装前建议先确认当前版本的接口说明。上线前务必完成温度拟合，否则下发概率会偏乐观，直接影响阈值判断的可靠性。推理服务建议先做单机压测，再决定并发规模。

Laya 的项目地址

• 模型主页（Hugging Face）：https://huggingface.co/convaiinnovations/laya
• GitHub 主仓库：https://github.com/NandhaKishorM/laya

Laya 的价格与开源情况

Laya 采用 Apache-2.0 协议并开放权重，模型本身不收取授权费用，成本主要来自部署所需的算力与运维投入。

相比按调用量计费的闭源接口，自托管的固定成本更明显，但高频调用时单位成本会显著下降。选择哪种方式，取决于调用量规模与对数据边界的实际要求。

若团队缺少运维资源，也可先在本地小规模验证效果，再决定是否扩大部署范围。评估时应把温度拟合与评测所需的人力一并计入。

Laya 的常见问题