训练中自己生成的 Rollout，模型还能学到什么？小红书 AllSpark 提出 ROSS

01

训练结束后，那些 rollout 真的“过期”了吗？

今天的大语言模型后训练中，一种重要方式是让模型从自己生成的经验中学习。在强化学习（Reinforcement Learning，RL）和 on-policy 蒸馏（OPD）中，模型针对任务不断采样，生成解题过程、代码，或包含工具调用与环境反馈的交互轨迹。这些生成的回答与交互记录，统称为 rollout。

在 RL 中，训练流程根据任务结果获得奖励，用来更新策略；在 OPD 中，学生模型先生成自己的回答，再利用教师在这些输出上提供的反馈进行学习。多轮 Agentic RL 则让模型在与环境的反复交互中完成任务，再从交互结果中学习。随着参数更新，新的 rollout 不断产生，历史记录也随之积累。

一轮训练结束后，我们通常关注最终 checkpoint 的表现。那些已经参与过参数更新的 rollout，往往被视为训练的中间产物而丢弃。但它们记录的正确解法、有效尝试和关键修正，是否已经被最终模型充分吸收？

一个早期 checkpoint 可能偶然找到正确解法，也可能在走错几步后完成关键的自我纠正。随着策略继续更新，这些有效行为未必会稳定保留下来。模型曾经做到过，并不意味着最终 checkpoint 能够可靠地再次做到。历史 rollout 保存的，正是这些行为真实发生过的记录。

这些“旧轨迹”中，可能还有模型已经探索到、却没有学牢的经验。ROSS 回到训练记录中，筛选有学习价值的内容，让已有探索继续产生收益。

图 1｜历史经验的两面。左侧展示模型随训练演进时，早期发现的有效行为可能在当前输出分布中变得稀少；右侧展示一条最终成功的轨迹，其中仍然夹杂错误判断与反复尝试。（论文 Figure 1，第 1 页）

复用这些记录之前，需要回答两个问题：历史输出是否仍与当前模型相容？其中是否还有尚未被稳定掌握的有效行为？论文先从这两个方面考察历史经验的再学习价值。

02

历史 rollout 的兼容性与互补性

经历多轮参数更新后，旧轨迹还能为当前模型提供什么？论文从兼容性与互补性两个维度展开：前者关注历史输出与当前策略是否接近，后者关注其中是否仍有值得巩固的行为。

具体来说：

• 兼容性（Compatibility）：历史输出与当前模型生成分布的接近程度，为模型沿着已有的行为方式继续学习提供基础。

• 互补性（Complementarity）：历史经验是否保留了当前模型尚不能可靠复现的有效行为，为进一步巩固已有能力提供学习信号。

值得重新学习的历史经验，应当既与当前策略较为相容，又包含模型尚未稳定掌握的有效行为。分布上接近，让经验更适合被重新学习；行为上仍有巩固空间，让再学习有机会带来额外收益。

图 2｜什么样的经验值得重新学习？右上角代表高兼容性、高互补性的行为，是 ROSS 希望利用的经验。（论文 Figure 2，第 2 页）

兼容性：沿着已有的行为方式继续学习

再学习希望巩固训练中探索出的有效行为，也需要尽量保留模型已经获得的能力。与当前策略较为接近的监督目标，有利于模型沿着已有的行为方式继续学习，减少为适应差异较大输出而作出的调整，同时有望降低再学习对已有能力的干扰。这就是兼容性分析所要考察的维度。

研究者选取了 100 道数学题，对每道题分别收集早期 checkpoint 的历史回答、当前模型的回答，以及外部教师 GLM-5.2 的回答，并计算它们在当前模型下的平均 token 负对数似然（NLL），作为响应层面兼容性的指标。NLL 衡量当前模型预测一段回答的难易程度；数值越低，说明这些输出在原有上下文下对模型而言越容易预测。

如上图所示，历史 rollout 与当前模型输出报告的平均 NLL 都为 0.120，外部教师输出为 0.520。在这组数学题上，历史输出仍较容易被当前模型预测，与当前策略表现出较高的兼容性。虽然这些轨迹已不再严格属于当前策略的 on-policy 数据，它们仍可为后续再学习提供与当前策略较为相容的监督。

不过，兼容性本身还不足以说明值得再学：如果某种行为已经能被当前模型稳定复现，重复学习它的额外价值可能有限。因此，论文接着考察历史记录中是否仍有尚未被充分巩固的有效行为。

互补性：曾经做对的事，还没有稳定做对

研究者从最困难的 100 道训练题中，保留历史 rollout 至少成功解决过一次的 98 道题，考察最终模型能否可靠地再次解决它们。最终模型对每道题采样 32 次，据此统计不同采样预算下的成功率。

结果显示，平均单次作答成功率pass@1 只有 37.7%；采样预算增加到 8 次时，pass@8 为 89.8%；增加到 32 次时，pass@32 达到 99.0%。这里的 pass@k 衡量在 k 次尝试中至少答对一次的成功率。98 道题中，有 74 道题的单次成功率不超过 50%。

图 3b–c｜历史上解决过的难题，对最终模型而言仍不够可靠；增加采样次数后，正确答案的覆盖率显著上升。（论文 Figure 3(b)(c)，第 3 页）

在 32 次采样中，最终模型解决了其中 97 道题，说明这些题的正确解法仍然能够被生成出来。但单次作答的可靠性明显不足。能在多次尝试中做对，距离稳定做对，仍有一段空间。历史 rollout 保存了这些题被成功解决的过程，为巩固尚不可靠的表现提供了现成的示范。

历史输出仍与当前策略相容，其中的有效行为又尚未被稳定掌握，这正是历史经验值得再学一遍的原因。ROSS 回看训练中模型自己生成的 rollout，筛选有价值的监督内容，让已有探索继续产生收益。

最后答对了，整个过程就值得模仿吗？

历史记录中已有成功答案，直接拿来做监督微调（SFT）似乎很自然。不过，一次成功的解答也可能经历错误判断和反复修正。

图 1 右侧展示了这样的例子：问题要求计算“250,000 是 20,000 的百分之多少”。模型最后给出正确答案 1250%，中途却一度反向计算 20,000 / 250,000 = 0.08，怀疑答案是否为 8%，随后才检查题意、修正比例方向。

对结果验证器来说，这条轨迹已经过关；对模仿学习来说，它却同时包含错误判断、自我纠正和正确计算。整段监督会同时鼓励模型复现这些内容。类似地，一次最终修复了问题的代码交互，也可能先经历错误实现、无效排查，再依靠测试反馈完成恢复。

结果验证确认任务是否成功，片段审核判断哪些行为值得学习。ROSS 在通过验证的轨迹中进一步筛选模仿目标。

03

ROSS：基于选择性监督的历史经验再学习

ROSS 的全称是Relearning from Self-Generated Rollouts through Selective Supervision。它的核心思路是：让模型看到完整经历，把监督集中在值得学习的部分。在原有训练结束后，ROSS 通过以下流程完成一个额外的离线 SFT 阶段：

1. 筛选成功轨迹。 用任务验证器检查历史 rollout：数学任务验证最终答案，代码任务使用可执行检查或单元测试，Agent 任务使用环境提供的成功信号。

2. 审核可学习的片段。 使用大语言模型作为审核器（LLM judge），设计一套pipeline，结合任务与验证证据检查成功轨迹，定位适合模仿的原始内容。无法从原文中获得可靠监督目标的样本会被舍弃。

3. 执行带掩码的 SFT。从上游训练的最终 checkpoint 出发，保留轨迹上下文，只对选中的模型生成 token 计算训练损失。

图 4｜ROSS 流程：历史轨迹 → 结果验证 → 片段审核 → 带掩码的 SFT。下方展示同一条轨迹中不同 token 的监督状态。（论文 Figure 4，第 4 页）

用审核器定位有效监督片段

实验使用 GLM-5.2 的 high-thinking 模式担任 LLM judge，对保存的 rollout 进行离线审核。审核器负责选择，监督目标取自原始轨迹。 审核过程不重写答案或补写推理，模型学习的内容均来自它自己曾经生成的输出。

不同类型的数据使用不同审核方式：

• 数学和代码回答：从原文中选取能组成正确、完整解答的片段，再独立复核。选取边界可根据复核结果修正；原文无法提供可靠解答的样本则被舍弃。

• Agent 轨迹：结合完整交互历史与工具反馈，先确认模型输出中的错误，再定位需要排除的原文片段。

选中的片段还要经过程序检查，确认它们能准确匹配原文、边界明确，并与保存的 token 对齐。通过检查后，选取结果被转换为训练使用的二值监督掩码。具体审核协议见论文附录 E。

保留完整上下文，让修正有据可循

监督掩码决定一个可监督的模型生成 token 是否参与 SFT 损失计算：

• m = 1：作为监督目标，参与损失计算。

• m = 0：不作为监督目标，仍留在原始序列中。

用户输入、工具返回和环境观察始终只作为上下文。

被排除出监督的内容，没有从轨迹里删除。模型学习后续正确行为时，仍然能看到它发生之前的完整历史。

以代码修复为例：模型先作出错误判断，测试暴露问题，随后根据报错修正实现。前面的尝试和反馈交代了修正的原因。剪去这段历史，就改变了模型学习修正动作时所依据的上下文。

ROSS 因而保留完整原文，让选中的 token 仍然基于当时的前缀进行预测。错误尝试可以作为理解后续行为的上下文，而无需同时成为模仿目标。这就是Full context, selective targets，也是这一设计适合长程 Agent 轨迹的重要原因。

04

从数学到 Agent：训练结束后，旧经验仍能带来提升

论文基于Qwen3.6-35B-A3B，在single-turn RL、多教师 on-policy 蒸馏（MOPD）和多轮 Agent 强化学习（Agentic RL）三类实验设置中检验 ROSS。这些流程都依赖模型自身生成的 rollout，覆盖不同的任务、反馈方式与轨迹长度。

这里的“单轮”指每条 rollout 中的交互轮次：给定一个输入，模型生成一次完整回答，随后由验证器评分，并据此更新策略。一次回答可以包含多步推理或自我纠正。本文的单轮 RL 实验涵盖数学推理与代码生成；MOPD 也采用单轮生成，通过教师反馈提供蒸馏信号。多轮 Agentic RL 则在同一条 rollout 中反复进行“生成动作—调用工具—读取环境反馈—继续生成”，直到任务结束。

下文用Upstream表示原有 RL 或 MOPD 训练结束后的模型，用Base表示启动该训练的底座。数学与代码的单轮 RL 实验，以及覆盖数学、代码和指令遵循的 MOPD 实验，均采用 no-thinking 配置，统一报告 SFT 训练 3 个 epoch 后的成绩；多轮 Agentic RL 实验的训练与评测保留 thinking，并使用单独的长上下文训练配置。

单轮 RL 与 MOPD 实验结果

表中的两类对照方法都从对应的 Upstream checkpoint 出发：

• Continued RL / Continued MOPD（继续上游训练）：沿用原有流程，继续生成新的 rollout，并用奖励或教师反馈更新模型。数学和代码 RL 各追加 2 个 epoch；MOPD 从 200-step checkpoint 再训练 200 steps。

• Positive-Rollout SFT（成功轨迹监督微调）：取历史窗口内所有通过任务验证的成功 rollout，直接对其中全部可监督的模型生成内容进行 SFT。它复用已有输出，不经过 ROSS 后续的片段审核与选择。用户输入、工具返回和环境观察仍只作为上下文。

表 1｜单轮任务的主要结果。上半部分是独立的数学、代码 RL 实验，下半部分是覆盖数学、代码和指令遵循的 MOPD。分数单位为 %，越高越好。（论文 Table 1，第 6 页）

先看数学与代码的单轮 RL 实验。模型已经完成相应任务的强化学习训练，ROSS 再利用期间保存的 rollout，将数学平均分从75.19% 提升至 76.98%，代码平均分从42.09% 提升至 44.21%，分别提高 1.79 和 2.12 个百分点，取得表中数学与代码任务各自的最佳平均成绩。

在同时覆盖数学、代码和指令遵循的 MOPD 中，从均分58.40%的 Upstream 出发，继续 MOPD 得到59.16%；直接对成功轨迹做 SFT 得到57.70%；ROSS 达到62.20%，比 Upstream 提高 3.80 个百分点，六项评测均有提升。

在这组对照中，直接对成功轨迹做 SFT 后均分下降，经过筛选并施加选择性监督的 ROSS 则取得了提升。历史经验的复用效果，与如何选择学习内容密切相关。

Agentic RL ：长程软件工程任务

Agent 任务把经验复用带到了更长的交互过程。模型需要理解仓库、搜索文件、修改实现，再根据测试与报错继续行动；后续正确动作往往依赖此前的尝试和环境反馈。

论文复用 OpenSWE 任务上的 AgenticRL 历史轨迹，并在独立保留的 SWE-bench Verified 上评测，检验 ROSS 能否将单轮任务中的收益延伸到长程软件工程任务。

在 SWE-bench Verified 上，Base 的任务解决率为60.80%，完成 Agentic RL 后的 Upstream 达到 64.20%。复用成功轨迹后，Positive-Rollout SFT 达到65.20%，ROSS 则进一步达到68.40%，比 Upstream 提高 4.20 个百分点。

这一比较固定了 Codex agent scaffold、Harbor 环境、工具接口和执行预算，评测中改变的是策略 checkpoint。结果表明，ROSS 的收益也能延伸到需要反复调用工具、读取反馈和修改代码的长程任务。

05

消融实验：轨迹筛选与片段监督

Token 级选择性监督的贡献

回顾前面的审核流程，通过任务验证的成功轨迹还会接受进一步打标。如果原始记录中无法选出可靠的监督目标，例如必须保留已确认的错误或补写缺失推理才能组成有效解答，ROSS 会舍弃整条轨迹；候选片段也需要通过原文匹配与 token 对齐检查。对于最终保留的轨迹，ROSS 保持完整上下文，只对选中的模型生成 token 计算损失。

因此，审核既会改变保留哪些样本，也会改变每个样本中哪些 token 参与监督。消融实验分别考察这两层选择的作用：

• Positive-Rollout SFT：仅按任务结果筛选。使用历史窗口内所有通过验证的成功轨迹，对全部可监督的模型生成 token 计算损失。

• ROSS w/o mask：保留审核后的样本，移除片段监督掩码。w/o 表示 without。使用与完整 ROSS 相同的审核后轨迹集，整条轨迹的舍弃决定仍然保留；训练时，对保留轨迹中全部可监督的模型生成 token 计算损失，包括完整 ROSS 原本会排除出监督的片段。

• 完整 ROSS：保留审核后的样本，并施加片段监督掩码。 使用与 ROSS w/o mask 完全相同的样本和上下文，只对审核选中的模型生成 token 计算损失。

三种设置都只监督模型生成内容。Positive-Rollout SFT 与 ROSS w/o mask 的对照反映进一步筛选轨迹的作用；ROSS w/o mask 与完整 ROSS 的对照则固定了样本和上下文，用于考察片段级选择性监督带来的额外收益。

表 3｜轨迹筛选与 token 级掩码的作用。ROSS w/o mask 和完整 ROSS 的样本、上下文相同，区别在于监督掩码。（论文 Table 3，第 7 页）

MOPD 均分从 Positive-Rollout SFT 的 57.70%，提高到 ROSS w/o mask 的 58.49%，说明轨迹筛选已经带来收益。在此基础上，保持样本与上下文相同，完整 ROSS 达到 62.20%。选择性监督进一步带来了3.71 个百分点的提升。

数学与代码的单轮 RL 实验中也有类似趋势。相较 ROSS w/o mask，完整 ROSS 的 LCB Gen 提高 1.91个百分点，OJBench 提高0.43个百分点，数学平均分提高0.66 个百分点。

即使已经通过结果验证和轨迹筛选，同一条记录中仍有学习价值不同的内容。这组对照表明，将监督进一步细化到 token，能在相同样本和上下文上获得额外收益。

训练留下的价值，还在模型自己生成的轨迹里

历史 rollout 能帮助 Upstream 继续提升，也引出了另一个问题：如果不继承这轮训练的参数更新，仅重新学习它留下的行为记录，还能获得多少收益？

研究者在 Math RL、Code RL 和 MOPD 中分别做了同一组对照：固定历史轨迹、监督掩码和 SFT 配置，只改变 ROSS 的初始化 checkpoint：

• 从 Upstream 出发：继承原始 RL/MOPD 的参数更新，再学习训练期间保存的历史 rollout。

• 从 Base 出发：回到这轮 RL/MOPD 开始前的模型，用同一批轨迹和掩码进行 ROSS 训练。

这里的 Base 与 Upstream 是同一底座模型在这轮后训练前后的两个 checkpoint。历史轨迹都来自原始 RL/MOPD 过程中的模型自身采样；Base 初始化的实验直接复用这些记录，不重新生成一批 rollout。

表 4｜不同初始化下的 ROSS。两组训练使用相同轨迹和掩码；Math 为数学平均分，Code 为 LCB Gen，IF 为 IFBench。（论文 Table 4，第 8 页）

Upstream 在重新学习前的成绩更高，经过 ROSS 后，两种初始化的表现相当接近。在 Math RL 中，从 Base 和 Upstream 出发的数学平均分分别为 77.09% 和 76.98%；在 Code RL 中，两者的 LCB Gen 分别为 61.33% 和 61.05%。MOPD 的三项评测也呈现了相近的结果。

Base 未继承这轮 RL/MOPD 的参数更新，通过同一批历史记录训练后，也达到了接近 Upstream 初始化的成绩。这支持了一个有价值的观察：训练中发现的有效行为，可以经由保存下来的 rollout，在不同初始化的 checkpoint 中被重新学习和巩固。 这里的证据来自同一底座模型在后训练前后的两种初始化。

一轮后训练因而留下了两种可继续利用的积累：

• 模型参数（Weights）：承载训练结束时已经学到的能力，作为后续训练和推理的起点。

• 行为经验（Behavioral Experience）：记录模型在训练中实际生成过的解法、尝试与修正，其中有价值的内容可以被筛选出来，再次转化为学习信号。

从自身 rollout 中继续学习，让已经投入的探索成本有机会产生后续收益：原始 RL/MOPD 完成探索并积累记录，ROSS 再通过审核与选择性监督，将其中的有效行为用于后续训练，无需额外生成策略 rollout。

将模型自己生成的 rollout 保存为可复用的训练资产，就为已有探索多保留了一条转化为能力的路径。

06

被排除内容的主要类型

为了了解选择性监督具体排除了什么，论文抽样分析了1,185 条包含被掩码内容的数学和代码轨迹，并按排除内容为每条轨迹分配一个主要类别。

图 6｜被排除内容的类别分布。早期对应 rollout steps 1–20，晚期对应 81–100；数学早晚各 300 条，代码早晚分别为 290 和 295 条。（论文 Figure 6，第 19 页）

两个领域的模式不同：

• 数学中，以“错误后被纠正”（Corrected mistake）为主。模型先作出明确错误判断，随后识别并修正。这一类别在早期和晚期数学样本中分别占 72.7% 和 68.3%。

• 代码中，以“冗余探索”（Redundant exploration）为主。包括过度规划、绕路或最终放弃的探索。这一类别从早期的 67.9% 增加到晚期的 76.6%。

这些比例以抽样的掩码轨迹为统计单位，表示各主要类别在该样本中的占比。数学中的纠错、代码中的绕路，都说明成功轨迹内部仍有必要区分哪些行为适合模仿。

输出分布逐渐集中，片段筛选仍有必要

论文还跟踪了数学和代码 RL 的前 100 个 rollout steps，观察需要排除的内容如何随训练变化。分析同时记录策略熵与监督目标排除率（Target Exclusion Rate，TER）；TER 统计的是保留轨迹的回答内容 token 中，未被选为监督目标的比例。

图 5｜策略熵下降，并未伴随监督目标排除率趋近于零。细线为每步数值，粗线为 8 步移动平均。（论文 Figure 5，第 8 页）

两类模型的策略熵都明显下降，输出分布逐渐集中。但从早期窗口到晚期窗口，数学 TER 仅从 11.60% 降至 9.27%，代码 TER 则从 22.65% 升至 28.07%。

在这两组实验中，输出分布逐渐集中，需要排除的监督内容仍然存在。当奖励主要取决于最终结果时，局部错误、放弃的分支与后续修正可以共同出现在一条正奖励轨迹中。重新做 SFT 时，仍需要逐段判断它们的监督价值。

审核也需要区分无效绕路与必要探索。正确的复核应当保留，合理的信息探测即使返回负面结果，也可能有价值。ROSS 结合任务、原始行为及环境证据作出判断，避免仅凭步骤长短筛选内容。

将历史 rollout 作为可复用训练资产，让已有探索继续转化为能力

训练结束后，checkpoint 承载着已经学到的能力，历史 rollout 则保留了探索过程中的具体行为。ROSS 在单轮 RL、MOPD 和多轮 Agentic RL 中的结果说明，这些记录仍能为后续训练提供有用的学习信号。

采样、奖励与教师反馈推动模型探索有效行为；回看历史、选择监督目标，让这些经验得到进一步巩固。保留完整上下文，再对适合模仿的片段施加监督，是 ROSS 连接这两个阶段的方式。在工程上，ROSS 复用已有 rollout，延续生成、环境交互和验证投入的价值。再学习阶段需要额外的离线审核和 SFT，无需额外生成策略 rollout。

模型曾经找到的解法、有效动作和关键修正，值得在训练结束后再学一遍。ROSS 让这些保存在自身 rollout 中的经验继续发挥作用，把曾经做对过的事，进一步巩固为更稳定的能力。

///

作者简介

• 张志伟，AllSpark Pevek 组算法实习生，香港中文大学在读博士生。

• 邓画予，AllSpark Pevek 组算法实习生，上海交通大学在读博士生。目前已发表7篇CCF-A类顶会论文，主要研究方向为大语言模型后训练。

• 沐川，AllSpark Pevek 组负责人。