深度研究准确率提升4.97个百分点！清华腾讯让Agent学会“论功行赏”

TreeOPSD团队 投稿
量子位 | 公众号QbitAI

Agent要完成一项深度研究，往往得反复搜索、阅读网页，再决定下一步查什么。

这种模式下，它可能很早就找到了关键资料，却又花了十几轮搜索无关网页，最后仍然答错。

如果把失败的惩罚平均施加到整个过程，那次正确的检索也会跟着受罚；反过来，一条最终答对的轨迹，也可能奖励了不少无用操作。

来自清华大学季向阳教授团队与腾讯的研究者据此提出TreeOPSD，尝试改进这类长程任务的强化学习训练。

在Qwen3-30B-A3B-Thinking-2507上，TreeOPSD的四项Deep Research评测平均Exact Match达到21.20%，较GRPO的16.23%提高4.97个百分点。

长程任务的改进，关键在于信用分配：最后的答案能判断对错，却未必说得清前面哪一步有用、哪一步走了弯路。

在依赖可验证终局奖励的RLVR训练中，这个问题尤其明显。任务越长，中间决策越多，整条轨迹共用一份优势信号就越难体现不同操作的贡献。

还有一个容易被忽略的时间差：Rollout来自采样时的行为策略，但同一批数据会被用于连续多个mini-batch更新。模型参数已经改变，后续更新却还沿用采样时计算好的信用，可能推得太远。

TreeOPSD分别处理这两个环节：先从轨迹中估计每轮操作的贡献，再让模型根据当前状态决定还需要更新多少。

技术方法：基于树式信用估计的后验蒸馏优化

树式轨迹采样与轮次级信用估计

采样先从几条完整的Agent轨迹开始。之后，算法回到其中已访问的中间节点，从同一个前缀接着生成不同的后续路径。论文把这套流程称为“initialize-then-expand”。

共享前缀意味着分支具有相同的前期经历，差别出现在后续选择上。算法将同一问题的终局奖励标准化为轨迹优势，再沿树回传，结合行为策略的似然权重，估计各个交互轮次的turn-level credit（轮次级信用）。

默认配置是4条初始完整轨迹，每条再扩展2个分支，总共形成12条叶子轨迹。由于分支只需生成后半段，按论文的随机分叉设定折算，期望生成预算相当于GRPO的8条完整Rollout。这并不等于两种方法的实际训练耗时一定相同。

△左侧从共享前缀构建轨迹树，并将最终奖励回传至中间节点；右侧将轮次信用转换为目标分布，在连续更新中调整当前策略。

有界教师目标构建与后验蒸馏

估计出轮次信用，并不意味着训练问题就解决了。TreePO也使用树式信用，但在连续更新期间，仍以采样时确定的信用权重推动策略。

TreeOPSD不再直接把这份固定信用用于每一次更新，而是将其映射成有界的Bernoulli（二元）教师目标分布。这里的目标不是下一个Token的概率，而是该轮动作相对于采样策略应当变化到什么程度。正信用对应高于1/2的目标值，负信用则低于1/2；偏移范围由目标半径控制。

所谓“教师”，是根据已有轨迹构造的目标，并非另外训练一套大模型。算法将当前策略相对行为策略的轮次级似然比映射成学生侧二元分布，再使用Forward KL（前向KL散度）让它向教师目标靠近。

△以行为策略为基准计算当前策略在交互轮次上的变化，并据此构建学生侧的目标匹配信号。

基于动态残差的自校正策略更新

在每个后续mini-batch中，TreeOPSD都会重新计算学生分布与教师目标之间的差距。

尚未达到目标时，残差继续推动更新；越接近目标，推动力度越小。达到目标后，残差归零；若越过目标，更新方向则会反转。

论文证明，在当前策略等于行为策略的采样点，这种目标匹配会恢复树式策略梯度的方向。模型更新后，梯度权重则随残差变化，不必一直重复最初的推动力度。

△固定信用持续推动更新；TreeOPSD根据学生分布与目标之间的残差调整力度，在超过目标时改变更新方向。

实验结果：多跳问答与深度研究任务性能评估

实验包括Multi-Hop QA（多跳问答）与Deep Research两类任务。多跳问答基于HotpotQA训练、使用本地维基百科检索，单条轨迹最多5个Assistant轮次。Deep Research则使用OpenResearcher中的6102个去重问题训练，最多允许60轮交互。评测时，BrowseComp-Plus使用封闭语料检索；BrowseComp、GAIA和xbench-DeepSearch用于开放网页搜索迁移测试。

基线包括GRPO、GSPO和TreePO。其中TreePO与TreeOPSD采用相同的采样树、轮次信用和优化批次设置，主要区别在于是否使用有界教师目标及动态残差更新。

△两种模型规模在Multi-Hop QA与Deep Research各四个评测集上的Exact Match结果，Avg为对应四项的平均值。

在4B模型上，TreeOPSD的Multi-Hop QA平均分为44.13，GRPO为43.37；Deep Research平均分则由GRPO的12.18提高到15.45。在30B-A3B模型上，多跳问答平均分由44.80提高到45.93，Deep Research从16.23提高到21.20。

即使只与同样采用树式采样的TreePO比较，30B-A3B模型的Deep Research平均分仍从17.59上升到21.20，高出3.61个百分点。这组对照更能体现动态目标匹配的作用。

△4B和30B-A3B模型在多跳问答及BrowseComp-Plus任务上的评测准确率随训练更新次数的变化。

论文还按实际训练时间比较了30B-A3B模型在BrowseComp-Plus上的表现。在不超过GRPO总训练时长的区间，TreeOPSD的准确率曲线仍位于GRPO之上。它也产生了更长的Agent交互轨迹，但交互更长并不等于每次完成任务更快。

△训练时间预算对齐下的准确率对比，以及Agent交互轮数的变化。

消融分析：信用定义、目标映射与采样配置

在Qwen3-4B的BrowseComp-Plus消融实验中，保留子节点自身信用的pointwise credit优于将兄弟节点做相对中心化的listwise credit。将信用通过仿射关系映射到教师目标的odds map，也优于论文测试的logistic map。

△pointwise与listwise信用分配，以及不同教师目标映射方式的消融对照。

采样预算怎么分，同样重要。在相同期望生成预算下，8条独立轨迹对应的4B模型Deep Research平均分是11.28；换成4条初始轨迹、每条2个分支，达到15.45；再改为2条初始轨迹、每条6个分支，平均分降至14.97。可见分叉数量并非越多越好。

△不同完整轨迹与分叉数量的预算分配，以及目标半径设置对应的任务成绩。

附录也测试了Qwen3-1.7B和Llama-3.2-3B-Instruct。两者的多跳问答平均Exact Match分别由GRPO的25.70%升至26.88%、由31.73%升至35.58%，表明提升并非只出现在主实验采用的Thinking模型上。

△在其他模型骨干上的评测结果与训练稳定性实验。

总结与展望：长程Agent的细粒度信用分配与稳定优化

TreeOPSD没有另起一套奖励模型，而是从同一前缀的不同后续结果中提取轮次信用，再把信用转化为有界、随当前策略状态变化的更新目标。前一步解决“该奖励哪个动作”，后一步处理“已经更新了多少”。

它不需要另行训练Critic，也不依赖逐轮人工过程奖励或更强的外部教师模型。已有实验表明，这样的处理在长程Deep Research任务中尤其有效。至于历史轨迹复用、目标半径的自适应调整，以及跨任务持续训练中的遗忘问题，仍有待后续研究。

论文标题：Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
论文作者：Heming Zou、Cheems Wang、Yixiu Mao、Yun Qu、Yuyi Guo、Zeyuan Liu、Chenglin Li、Weijie Liu、Saiyong Yang、Xiangyang Ji
机构：Tsinghua University
论文链接：https://arxiv.org/pdf/2610.23181

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

— 完 —

【学术投稿】请在工作日发送邮件至：[email protected]，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目/主页链接，以及联系方式。

🌟 点亮星标 🌟