EAPO – 阿里通义实验室推出的长上下文推理强化学习框架

EAPO快速摘要：证据增强型长上下文推理强化学习框架

EAPO（Evidence-Augmented Policy Optimization）是阿里巴巴通义实验室提出的长上下文推理强化学习框架，结合证据增强推理与奖励模型共进化机制，用于提升大语言模型在长文本、多文档问答中的证据检索与推理能力。

• 模型名称：EAPO（Evidence-Augmented Policy Optimization）
• 开发公司：阿里巴巴通义实验室（Tongyi Lab）
• 发布时间：2026年4月27公开
• 主要功能：引入Evidence-Augmented Reasoning流程，实现证据抽取、分组奖励优化与推理生成分离，提升多跳问答与长文档理解能力。
• 使用要求：需基于Qwen3-14B/30B等基础模型，通过GRPO框架训练，并结合奖励模型进行强化学习优化，不作为独立API产品使用。
• 开源情况：框架方法公开于论文与技术报告中，具体训练代码与完整系统实现依赖通义实验室生态工具链，部分组件未完全开源。
• 适用场景：长文档问答、多跳推理任务、法律文档分析、科研知识检索、企业级知识库问答系统等复杂信息密集任务。
• 技术特点：采用Group-Relative Evidence Reward与Reward-Policy Co-Evolution机制，实现过程监督强化与动态奖励校准，减少“猜答案”现象。
• 价格：作为研究框架本身不涉及单独计费，实际成本取决于所使用的基础模型API调用或训练算力资源消耗。

EAPO的核心优势

• 证据驱动优化机制：通过Group-Relative Evidence Reward对多个候选证据进行相对评分，而非仅依赖最终答案正确性，据LongBench实验结果显示Qwen3-30B提升约7.5%，显著增强证据质量导向训练效果。
• 奖励-策略共进化：引入Adaptive Reward-Policy Co-Evolution机制，使奖励模型随策略迭代更新，在训练过程中持续校准评价能力，据论文实验RM准确率从69%提升至74%。
• 长上下文鲁棒性增强：在128K上下文设置下有效缓解lost-in-the-middle问题，在SEAL-hard任务中相比GRPO提升约4%以上，提升长文本信息定位稳定性。
• 降低推理捷径依赖：通过显式证据约束减少“猜答案”行为，使模型必须依赖可验证证据链生成结果，据人工评估证据一致性达到97.3%。
• 跨模型通用性：可适配Qwen3-14B至30B不同规模模型，在Dense与MoE架构下均表现稳定提升，说明方法具备较强架构泛化能力。

EAPO的核心功能

• 证据抽取增强：在分析阶段强制模型从长上下文中抽取原始证据片段作为输入依据，在MuSiQue任务中输入10k-token文档可提升多跳问答准确率约6%。
• 分组奖励评分：对同一问题生成多个推理路径并进行组内相对评分，输入6个候选路径输出1个最优证据组合，提高训练信号密度与稳定性。
• 结构化推理流程：固定analysis-evidence-reasoning-answer四阶段输出格式，使模型显式分离检索与推理过程，减少隐式记忆干扰。
• 动态奖励更新：通过高置信一致样本进行Reward Model再训练，使模型在每20步RL更新中持续优化评分边界，提高长期训练稳定性。
• 长文档多任务适配：支持结构化表格、Wikipedia长文档与混合QA输入，在LongBench-v2中跨任务平均提升约5%-8%。

EAPO的技术原理

• GRPO强化学习框架：基于Group Relative Policy Optimization，在同一问题生成多条输出路径，通过优势函数计算相对奖励，用于优化策略梯度更新。
• 证据增强推理范式：将输入拆分为任务分析与证据抽取阶段，强制模型在推理前显式引用上下文片段，提高信息可追溯性与可解释性。
• Group-Relative Evidence Reward：对多个候选证据进行1-5分评分并归一化处理，形成密集奖励信号，强化高质量证据选择能力。
• 奖励模型共进化机制：通过Outcome Consistency Filter筛选高置信样本，持续微调Reward Model，使其与策略模型同步进化。
• 多粒度奖励组合：结合格式约束奖励、证据质量奖励与最终答案奖励，形成加权Rtotal，提高训练信号覆盖完整推理链。

EAPO与GRPO、QwenLong-32B对比分析

EAPO在技术路线上基于GRPO扩展，引入证据增强机制，使强化学习从结果优化升级为证据驱动的过程优化；GRPO仅依赖组内相对奖励，而EAPO增加证据级监督与奖励共进化机制。在长文本能力上，EAPO针对128K上下文强化证据定位与多文档推理，优于未显式证据建模的方法。QwenLong-32B则侧重长上下文预训练能力，但缺乏证据级监督，因此在复杂多跳推理任务中可解释性较弱。

如何使用EAPO

1. 基础模型选择：选择Qwen3-14B或30B作为基础模型，设置context length为128K，temperature为1.0，用于生成多路径推理候选结果。
2. GRPO训练配置：设置group size=6，learning rate=2e-6，batch size=64，通过多样化采样生成候选推理路径用于强化学习优化。
3. 证据抽取启用：在输入阶段强制启用analysis-evidence结构，将长文本拆分为可引用片段，并标记证据来源位置。
4. 奖励模型更新：每20步使用高置信一致样本更新Reward Model参数，使评分机制与当前策略保持同步，避免奖励偏移。

EAPO的局限性

• 训练复杂度较高：需要同时维护策略模型与奖励模型双系统训练结构，在128K上下文环境下显存占用较高，训练成本显著上升。
• 依赖高质量标注数据：Evidence评分依赖人工或强模型评估，在低质量数据环境下可能导致奖励信号偏移，影响训练稳定性。
• 推理延迟增加：由于需要多路径采样与证据评估，单次推理计算量显著高于普通GRPO模型，实时应用存在限制。

EAPO相关资源

• 论文资源：https://arxiv.org/pdf/2601.10306
• 公众号官宣文：搜对≠答对：EAPO用“证据奖励”让大模型不再靠猜

EAPO的典型应用场景

• 法律文档分析：输入多页合同文本，系统抽取关键条款并生成结论，提高审查效率与准确率。
• 科研知识问答：输入论文集合，系统提取实验结果并生成对比分析输出，提高研究效率。
• 企业知识库检索：输入企业内部文档，自动定位相关信息并生成结构化回答。
• 多文档问答系统：输入多个Wikipedia页面，实现跨文档信息整合与推理输出。
• 长会议记录分析：输入会议录音转写文本，提取关键决策与行动项，提高信息整理效率。

EAPO常见问题