LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式

本文第一作者李梦琦为香港中文大学（深圳）计算机科学专业博士生。本项研究是与上海交通大学赵磊老师、香港中文大学苏文藻老师合作，并在香港中文大学（深圳）孙若愚老师与李肖老师的共同指导下完成。

在推理后训练里，多数方法仍依赖奖励模型、验证器或额外教师信号。如果不依赖这些外部信号，只使用模型自身生成的答案进行自训练，是否仍然能够提升推理能力？是的！SePT（Self-evolving Post-Training）给出肯定答案，简洁的自训练方法，可在数学推理任务准确率直升10个点！

• 论文标题：

  A Model Can Help Itself: Reward-Free Self-Training for LLM Reasoning

• 论文：

  https://arxiv.org/pdf/2510.18814

• 代码：

  https://github.com/ElementQi/SePT

SePT的在线自训练循环示意：样本以采样温度 τ_s 生成，训练阶段采用标准 SFT；下一轮训练数据由更新后的模型生成。

如流程图所示，SePT 的核心极其简洁：当前模型先生成答案，再用这些答案做标准 SFT，随后由更新后的模型重新生成下一轮训练数据。下面先看这种在线循环自训练到底带来了多少提升。

数学推理上的结果：SePT vs Baseline

主结果如图所示。这里的 baseline 并非默认采样设置下直接评测的基座模型，而是未做后训练、但在推理阶段经过 temperature sweep 并取最佳结果的强基线。经过 SePT 自训练后， 在 6 个数学基准测试集平均后的 Pass@1、Pass@8、Pass@32 和 AVG 上均有明显提升。

在 Qwen2.5-Math-7B 上，6 个数学基准测试集平均后的 Pass@1、Pass@8、Pass@32 和 AVG：SePT 在各项指标上均明显高于上述 baseline。

数学推理上的结果：SePT vs RLVR

如果进一步与 RLVR 方法（ GRPO） 比较，可以看到：自训练方法SePT 已经能够取得与 GRPO 较为接近的结果，尤其是在OTM数据集上。

结合表中的结果，在 Qwen2.5-Math-7B 上，使用 OTM 时，SePT 和 GRPO 的 AVG 分别为 55.2 和 56.6，差距只有 1.4；而在 DSR 上，这一差距扩大为 4.1（55.0 vs. 59.1）。在 DeepSeek-Math-7B-Instruct 上，同样的差距分别为 0.4（33.0 vs. 33.4）和 1.7（33.9 vs. 35.6）。甚至在 Qwen2.5-Math-7B 的 OTM 设置下，SePT 的 Pass@1 还略高于 GRPO（40.8 vs. 39.5）。

这些结果说明，在本文的比较设置下，SePT 对训练题集选择表现出更小的波动，而 GRPO 在 DSR 上的增益更明显。

OpenThoughts-Math（OTM）和 DeepScaleR（DSR）在 Qwen2.5-Math-7B 与 DeepSeek-Math-7B-Instruct 上的平均基准比较。两套训练题集规模相近。Δ 表示 DSR 相对 OTM 的变化，阴影标出 DSR 至少高出 OTM 2.0 分的情形。

SePT 算法具体流程

SePT 有着极其简洁的自训练框架设计，可以概括为以下三个步骤：

1、从题库中采样问题，并由当前模型在采样温度下生成答案；

2、使用这些自生成样本对当前模型进行标准 SFT；

3、再由更新后的模型生成下一轮训练数据。

这一设计的关键可概括为：温度解耦、标准SFT训练，最新模型自生成数据。

如果把当前轮用于采样的模型记为，训练题集记为，采样温度为，训练温度为，则SePT 的训练objective 可以写成 。

也就是说，SePT 并没有引入额外的 reward、advantage、verifier 或 teacher signal；训练阶段就是标准的负对数似然，也就是标准 SFT，只不过训练样本来自模型自己上一轮在温度下生成的轨迹。

本文实验里采用标准SFT训练，即 ，默认每个 prompt 只采样一次（） ，这也是 SePT 工程上非常轻量的原因之一。

SePT 中的在线自生成数据

本文进一步通过消融实验验证了这一设计的重要性：如果将“由最新模型逐轮生成下一轮训练数据”改为固定数据训练，性能会明显下降。以 Qwen2.5-Math-7B 为例，SePT (Offline) 的 AVG 为 45.5，而在线版本的 SePT 可达到 55.0。

SePT 与 SePT (Offline) 在 Qwen2.5-Math-7B 上的比较，括号中的数值表示相对 baseline 的变化。

SePT 中的温度解耦

SePT 中涉及两个温度，生成时放开探索，训练时保持标准 SFT，二者不必绑死。生成自训练样本时使用的采样温度 为，而另一个是训练阶段的标准设定= 1。

为什么这件事重要？本文的定理一给出了一个直观的理论论证：

若在某个前缀 下，旧模型的采样分布写作，而训练后的最优解写作  则存在某个常数 ，使得 。

因此，对任意两个token，都有  。

这意味着，当  时（本文实验里的主要选择），pairwise logit margin 会按比例   被放大。直观上说，低温采样 + 标准温度训练，并不是简单让模型更保守，而是在尽量保留两两token间的相对排序的同时，把预训练里已经存在的偏好边界适当拉开。

这一点在实验上也被直接验证了。以 Qwen2.5-Math-7B 为例，若使用 temperature coupling，Pass@1/Pass@8/Pass@32/AVG 只有 19.3/50.1/64.3/44.6，Pass@1 甚至低于 baseline；而采用 decoupling 后，四项指标可以提升到 39.5/57.7/67.9/55.0。

也就是说，SePT 里“低温生成 + 标准 SFT”对于数学推理的提升并不是一个经验 trick，而是理论与实验都支持的重要设计。

Qwen2.5-Math-7B 在温度耦合与解耦方案下的对比。括号内数值表示方法值与基准值的差（Method−Baseline）。

上表说明，生成温度与训练温度解耦在结果上确实更优；但它为什么更优，还可以从基座模型本身的 temperature–performance trade-off 来理解。如下图所示，不同指标对应的最佳  并不一致，这正是 SePT 不把   与  绑定的直观动机。

Pass@1、Pass@8、Pass@32 以及 AVG 在基座模型上随采样温度变化的结果。

自训练是否会损害模型通用能力？

模型的一般能力会不会因为只在数学自生成轨迹上继续训练而受损？本文在 Qwen2.5-Math-7B 上的一组 general-domain benchmark正面回答了这一问题，测试基准包括 IFEval、BBH、GPQA、MuSR 和 MMLU-Pro。结果基本是几乎不掉：基础模型分别为 23.4/47.5/29.9/41.4/32.1，SePT 为 23.6/47.3/30.6/41.5/32.2。也就是说，SePT 在 IFEval、GPQA、MuSR、MMLU-Pro 上都有轻微提升，BBH 基本不变；GRPO 也呈现了类似模式。这表明SePT自训练方法不会明显损害模型的通用能力。

Qwen2.5-Math-7B 基座模型及其 SePT、GRPO 训练版本在通用领域的评测结果。

代码简单可用

项目组的代码实现基于字节开源的 verl 框架。更重要的是，SePT 本身并不绑定某个特定框架，其方法简单直接：以采样温度  生成样本、进行标准 SFT、再由更新后的模型生成下一轮训练数据。也正因为这一训练循环足够轻量，SePT 不仅可以自然地在 verl 上实现；对于已经有训练框架，或使用其他在线训练框架的团队而言，也较容易迁移和复现。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]