复旦 NLP&美团 LongCat 联合提出长程推理能力评测与增强新框架

美团LongCat团队2025年11月27日约 5 分钟

一、推理模型⾯临的新挑战

随着 OpenAI o1 、 DeepSeek-R1 等大型推理模型（LRMs）的问世， AI 推理能力迎来了「测试时扩展」的新阶段。这些模型通过长链思维（Long Chain-of-Thought, CoT）在数学推理、代码生成、智能体任务等领域展现出强大能力。

然而，现有评测体系存在一个关键盲区：主流基准测试（如 MATH500 、AIME）主要关注独立的单一问题，每个问题相互隔离，模型只需「—问—答」即可。

但现实应用场景往往大相径庭：

这些真实场景要求模型具备跨任务的长链推理能力——不仅要解决单个子问题，更要在多个关联任务间保持推理—致性、合理分配计算资源、实现跨步骤的反思与纠错。

核心问题：当前大型推理模型的长链推理能力边界到底在哪里？

由于现有评测无法回答这—问题，传统训练数据也难以培养这种能力（如图所示，模型在长程推理场景下表现明显退化）。

图1：R1 系列模型在长程推理场景下的理论准确率与实际准确率对比

复旦大学与美团LongCat联合推出 R-HORIZON——首个系统性评估与增强 LRMs 长链推理能力的评测框架与训练方法。

二、方法论： Query Composition 范式

核心创新

R-HORIZON 提出了问题组合（Query Composition）方法，通过构建问题间的依赖关系，将孤立任务转化为复杂的多步骤推理链。

以数学任务为例，该方法包含三个步骤：

1. 信息提取：从独立问题中提取核心数值、变量等关键信息

2. 依赖构建：将前序问题的答案嵌入到后续问题的条件中

3. 链式推理：模型必须顺序解决所有子问题才能获得最终答案

方法优势：

基于此方法，我们构建了R-HORIZON Benchmark用于系统性评估 LRMs 的多步推理能力，同时生成了长链推理训练数据，通过强化学习（RLVR）提升模型性能。

图2：R-HORIZON 方法流程——从单 — 问题到复杂推理链的转化及应用场景

三、评测基准： R-HORIZON Benchmark

数据集构成：

基于 Query Composition 方法，我们构建了涵盖 6 个代表性数据集的 R-HORIZON Benchmark：

评测发现：性能断崖现象

我们评测了 20+ 个主流 LRMs（包括 o4-mini 、Claude-Sonnet-4 、 DeepSeek-R1 等顶级商业模型及开源模型），揭示了—个重要现象：

顶级推理模型在长链推理场景下均出现显著性能下降！

主要发现：

普遍性能退化：所有模型随问题数量增加均出现明显性能下降。 DeepSeek-R1 在 AIME25 单问题场景准确率达 87.3%，但在 5 个组合问题场景下骤降至 24.6%
规模效应：更大规模的模型对多步推理挑战表现出更强的鲁棒性
任务差异：代码生成任务相比数学任务表现出更陡峭的性能衰退；多数推理模型在网页搜索场景中丧失工具调用能力