从规则匹配到情境决策——小红书提出面向复杂情境决策的 Agent 学习框架AdaptEvo

01

背景：业务有规则，判断还要看情境

举一个例子：一张图片里出现了伤口，是否应该判违规？

图 1｜从识别线索到形成结论，还需要检查适用条件、证据与例外。图中案例和奖励曲线均为机制示意。

以论文中的示意规则为例，若限制的是严重血腥伤口，并对医学教育设有豁免，Agent 就需要核实伤口程度、呈现方式和帖子语境，判断违规条件是否成立、豁免是否适用。同样是伤口，具体情境不同，结论也可能不同。

内容审核中的许多判断都有这种特点。规则难以枚举所有案例，证据也未必完整。审核员需要结合具体情境解释规则，核对适用条件，判断现有证据能否支撑结论。对规则的理解和判断尺度不同，也会带来分歧。

论文将这类问题称为 规则约束下的情境决策任务（rule-governed contextual decision tasks）：结合具体案例的情境与证据，在给定规则下作出有依据的决策。

02

挑战：参考答案支持不均，过程评分存在缺口

参考答案得到的规则与证据支持程度不一。

论文训练集包含 3,395 条案例，每条由 4 位审核员标注，以质检审核员的标签及理由作为参考。其中，20.9% 的案例存在人审分歧。分歧可能来自规则理解、判断尺度或证据解释的差异，不能直接等同于标注错误。

人审一致，也不意味着规则与证据支持充分。

在 2,686 条人审一致的案例中，仍有 718 条被离线支持评估模型判断为存在歧义或支持不足。这项评估提供的是参考支持程度的信号，不能独立判定标签正误。训练时需要结合两种信号，调整对结果一致性的依赖。

规则应用中的遗漏，也可能被过程评分漏掉。

书面规则未必展开各场景的证据要求、边界和例外，Agent 因而缺少具体检查步骤。以伤口为例，识别图像线索后，还要核实严重程度与豁免条件。

如果过程评分只检查“是否识别伤口”“是否引用规则”，遗漏关键条件的轨迹也可能拿到高分。增加过程奖励之后，还需要让评价反映规则应用的质量。

AdaptEvo 因此一边按参考支持程度调整训练反馈，一边补充决策知识、修订过程评分细则。

03

方法：训练与演化交替进行

AdaptEvo交替执行Training与Evolution：

1. Training：训练阶段固定决策知识和评分细则，更新模型参数。

2. Evolution：阶段结束后冻结策略，分析训练轨迹，更新决策知识和过程评分细则，供下一阶段使用。

图 2｜上半部分是 CA-GRPO 训练，下半部分更新决策知识与评分细则。业务规则在同一次训练运行中保持固定。

CA-GRPO：按参考支持程度分配训练反馈

CA-GRPO（置信度自适应 GRPO）使用两种奖励：

• 结果奖励：衡量与参考标签的一致性。

• 过程奖励：考察证据获取、规则应用及决策推导。

这里的“参考置信度”衡量参考判断的支持程度，由人审一致性和外部模型评估共同构成。外部模型检查规则与现有证据能否支持参考标签及理由。它不等同于 Agent 对自身答案的信心，也不直接表示题目难度。

支持充分时，训练更依赖结果反馈；支持较弱时，过程反馈占更大比重，让取证和规则应用中有价值的行为仍能提供学习信号。实现中，结果奖励的最高权重为 90%，过程反馈始终保留。支持评估不改写参考标签，过程评估默认不读取原始参考答案。

知识与评分细则演化：从共性问题中完善判断依据

每轮训练结束后，AdaptEvo 冻结策略，结合规则与证据分析跨案例反复出现的判断问题，同步更新决策知识与过程评分细则：决策知识明确“该核查什么”，将共性问题提炼为包含触发条件、必要证据、决策边界与例外的指导，放入 Agent 上下文；评分细则检查“是否核查到位”，重点关注必要条件是否确认、工具证据是否用于决策、是否将“未查到”误作否定证据等。候选知识通过重新运行 Agent 检验效果，候选评分细则则在固定轨迹上检验区分能力与评分稳定性，通过验证后用于下一阶段训练。诊断与验证均仅使用训练数据，测试集不参与，业务规则保持不变。

04

效果与对比：同期超越 Gemini3.8-Flash，规则变化后保持泛化优势

论文在工业多模态内容审核任务上验证 AdaptEvo。同期测试集（In-Period）与训练数据来自同一采集时期；异期测试集（Out-of-Period）来自更晚时期，适用规则已发生变化。精确标签准确率（ELA）要求预测标签与参考标签完全一致；二分类准确率（BDA）将违规类别合并，衡量“通过／违规”判断的一致性。

同期两项指标均超越 Gemini3.8-Flash，取得最佳表现。基于 Qwen3.6-35B-A3B，AdaptEvo 的精确标签准确率达到 61.9%，二分类准确率达到 72.2%，均超过 Gemini3.8-Flash，在全部参评模型与配置中排名第一。相比同骨干的 GRPO，两项指标分别提升 7.5 和 3.7 个百分点。

规则发生变化后，训练收益仍能延续。在适用规则已更新的异期测试集上，AdaptEvo 的两项准确率达到 59.5% 和 69.5%，分别比 GRPO 高 7.6 和 4.3 个百分点。其中，精确标签准确率在同基础模型训练方法中最高，二分类准确率与 Gemini3.8-Flash 持平，体现了对规则变化的泛化能力。

从训练案例中提炼的决策知识，也能直接改善新案例的判断。不更新模型参数，仅在推理时为 CA-GRPO 注入演化知识，同期两项准确率就分别提升 3.7 和 3.2 个百分点；随后结合这些知识与更新后的评分细则继续训练，获得 2.8 和 0.9 个百分点的提升。从案例中总结出的条件、证据要求与例外，不仅能直接指导推理，也能与后续训练结合，进一步提高决策准确率。

主结果：同期与异期测试（%）

表格说明

结果标记：浅蓝底纹突出 AdaptEvo 配置；浅绿底纹与数值加粗标记全部 13 个模型或配置中的列内最高值。已训练方法均报告第 60 步检查点。

配置标记：“无”表示未注入演化知识。GRPO（High-Conf.）只用人审一致且参考标签与理由获支持评估认可的案例训练。

† 知识注入：CA-GRPO 使用同一策略，仅在推理时注入由 GPT-5.6-Sol 总结的演化知识。AdaptEvo 从该策略继续训练，使用相同知识与更新后的评分细则。

相对 GRPO，完整方案的准确率提升

• 同期测试：ELA／BDA 提升 7.5／3.7 个百分点。

• 规则变化后：ELA／BDA 提升 7.6／4.3 个百分点。

泛化表现与训练机制分析

图 3｜左图展示训练中的结果奖励，右侧热力图展示异期准确率相对基础模型的变化，单位为百分点。各检查点均未注入演化知识。

当测试中的规则发生变化，模型还能保留训练带来的收益吗？实验发现，GRPO 虽然在训练中获得了更高的平均结果奖励，异期准确率却随训练推进而下降：从第 10 步到第 60 步，精确标签准确率（ELA）和二分类准确率（BDA）分别下降 2.6 和 0.8 个百分点，最终均低于基础模型。即使只选取高置信案例训练，也未能避免这一退化。这说明，仅靠提高对训练参考答案的匹配程度，或筛选更可靠的参考答案，并不足以保证规则变化后的泛化；仅用高置信案例训练也出现类似趋势。相比之下，CA-GRPO 在所有已评估检查点的异期 ELA 均高于基础模型，第 60 步的 ELA／BDA 分别高 1.9／1.4 个百分点，这一结果体现了 CA-GRPO 在持续训练中保留泛化收益的优势。

///

作者简介

• 万石君，AllSpark Pevek 组算法实习生，复旦大学硕士研究生在读。以第一作者身份发表CCF-A/B类会议论文2篇，主要研究方向是Agentic后训练。

• 沐川，AllSpark Pevek 组负责人。