小红书 NeurIPS 2026｜用推理模型自己的思维链作 hint，1000 条数据教会模型“少想”

导读 推理模型做题，连简单题也要反复再想想。我们发现，把推理模型自己的思维链切成片段作为 hint 交给同家族的 Instruct 模型，很多题只需开头几段、甚至不给提示就能答对。顺着这个发现，我们只用 1000 条数据、一次 SFT，就让推理模型学会按难度分配思考：数学基准上推理 token 平均减少 31.5%，准确率基本持平。本文介绍这项 NeurIPS 2026 工作的思路、数据构造和适用场景，论文、代码、模型和数据均已开源。 论文： Hint Tuning: Less Data Makes Better Reasoners（NeurIPS 2026，arXiv:2605.08665） 代码与数据： https://github.com/redai-infra/hint-tuning 训练框架 Relax： https://github.com/redai-infra/Relax 模型与数据集： https://huggingface.co/datasets/redai-infra/hint-tuning-1k 01 背景 1.1 推理模型“想太多”的问题 以 o1、DeepSeek-R1 为代表的推理模型靠长思维链在数学、代码等任务上取得了明显提升，但它们对所有问题都采用同样的深度思考方式。我们对比了同家族的 Instruct 模型和 Thinking 模型在竞赛数学题上的输出，在两个模型都答对的题目上，Thinking 模型的输出长度是 Instruct 模型的 5～8 倍，多出来的内容大部分是“wait”“let me verify” 之类的反复检查。
1.2 一个观察：开头一小段就够了 我们把 Thinking 模型输出的思维链切成片段，取前几段作为 hint 拼到题目后面，再交给 Instruct 模型作答。结果显示，Instruct 模型平均只需要原推理过程 27.5% 的步骤、11.9% 的 token 就能答对。也就是说，对很多题目，真正起作用的只是推理开头的几个关键步骤。

图 1：(a)(b) 无论哪个模型答对，推理模型（蓝）的 token 都远多于 Instruct 模型（绿）；(c)(d) 把推理模型思维链的开头几段作为 hint 交给 Instruct 模型，它能用很短的输出答对。
1.3 难点：到底“思考多少”才算够？ 要让模型按难度调整思考长度，关键在于知道每道题该思考多少。现有做法大致有三类：

• 强化学习加长度惩罚： 需要大量在线采样，准确率和长度两个奖励之间不好平衡，训练成本高、不稳定。
• 用外部模型压缩已有思维链： 需要判断哪些步骤是冗余的，但同一个步骤在不同题目里的作用不一样，容易删错。
• 人工标注难度： 成本高，标准也难统一。

图 2：强化学习方案成本高、不稳定；SFT 方案受限于短思维链数据从哪里来。Hint Tuning 以 Instruct 模型能否答对为标准，自动截取推理模型自己的思维链，得到长度可变的训练数据。 02 方法：把推理模型的思维链切成 hint，找到最小有效提示 2.1 主要技术贡献

1. 提出“最小有效提示”（Minimum Effective Hint）： 把推理模型的思维链切成片段，逐段作为 hint 交给同家族 Instruct 模型，记录它答对所需的最少片段数，用这个数决定每道题该保留多长的思考，把思考多少变成一个可以自动计算的量。
2. 基于最小有效提示的三状态数据构造流程： 不需要人工标注、奖励模型和在线强化学习，1000 条数据加一次标准 SFT 即可完成训练。
3. 通过消融实验发现： 答错的推理轨迹同样有训练价值；模型自己生成的轨迹比更强模型的轨迹更好学；关键提示集中在推理的前几段。

2.2 数据构造：1000 条数据是怎么来的 题目来源。 我们使用公开的 s1K 数据集作为题库。它是从 NuminaMath、OlympicArena 等 16 个来源约 5.9 万道题中，按质量和难度筛选出的 1000 道数学题。我们只用其中的题目和标准答案，原有的思维链全部丢弃。
第一步，生成。 用待训练的推理模型为每道题重新生成一遍完整思维链。每个目标模型（4B、7B、14B、32B）各自生成一份数据。
第二步，切分。 以 “wait”“actually”“hmm”“let me reconsider”“on second thought”“hold on”“let me rethink” 等反思词为边界，把思维链切成若干片段。
第三步，探测。 把这些片段依次作为 hint 交给 Qwen3-4B-Instruct：先只给题目（k=0），再给题目加第 1 段，题目加前 2 段，以此类推。每次作答由 LLM 对照标准答案判分，Instruct 模型第一次答对时的 k 记为最小有效提示 K*。由于约 90% 需要提示的题在前 25 个片段内就能答对，我们加了早停，平均每道题只需探测 3～6 次。
第四步，构造训练样本。 按 K\ 把每道题分到三种状态之一。前两种状态下，think 部分放 K\ 段推理模型的思维链（K\*=0 时不放），答案部分直接用 Instruct 模型在这个 hint 下自己写出的解答；第三种状态保留推理模型原来的完整思维链和解答：

这样构造出的样本，思考部分来自推理模型，答案部分在 Instruct 模型能解出的题上直接采用它简洁的解答。推理模型学到的是：简单题不想或少想，直接给出简洁的解答；难题保留完整的深度思考。最终训练和部署的是推理模型本身，Instruct 模型只在构造数据时使用。

图 3：(a) 成功率并不随提示变长而单调上升；(b) 所需提示绝大多数集中在前几个片段；(d) 只有约三成题目是提示越多越好，多数题目取决于个别关键步骤
2.3 训练配置 训练基于部门自研的 Relax 框架，对推理模型做一次标准的全参数 SFT，不需要额外的奖励模型或在线采样。8 卡 H20，4B～32B 模型完整训练约 2～10 小时。训练超参沿用 s1 的设置，完整的运行脚本和配置已开源在 Relax 仓库： https://github.com/redai-infra/Relax/tree/main/examples/cot_compression 03 实验结果 3.1 评测设置 我们在 Qwen3-4B-Thinking 和 DeepSeek-R1-Distill-Qwen 7B/14B/32B 上验证。数学评测包括 MATH500、AIME24、AIME25、HMMT25，以及模型发布后才公开的 IMO 级题集 AMO-Bench；另外用 LiveCodeBench（代码）和 GPQA-Diamond（科学问答）考察跨领域表现。每道题采样 16 次取平均准确率，温度 0.6。
3.2 数学主结果 五个数学基准上的平均结果如下：

分基准看，token 降幅在 24%～66% 之间。R1-Distill-32B 在 MATH500 上 token 减少 47%，准确率提升 1.1 个点。
3.3 与其他方法对比 7B 是唯一所有对比方法都有官方权重的尺寸，结果如下（五个数学基准平均）：

在准确率相当的情况下，Hint Tuning 的平均输出最短，按总生成量算所需数据少 25～640 倍。

图 4：左图横轴为 token 节省比例、纵轴为准确率，星标为 Hint Tuning；右图为各方法所需训练数据量。
在 AMO-Bench 上，Qwen3-4B 的准确率从 10.3 提升到 20.5。我们分析了原模型的错误样本，主要有两类：反复反思后推翻了已经算对的中间结果，或者在重复验证中用完了上下文长度。训练后模型学会了适时停止，这两类错误随之减少。
3.4 几个实验发现

• 答错的轨迹也有用。只用答对的数据，HMMT25 准确率下降 20 个点。过滤掉错题，主要删掉的是难题上的长推理，模型因此学不会在难题上多想。
• 自己的轨迹比更强模型的轨迹好学。DeepSeek-R1 能力更强，但它的写法、符号习惯和步骤粒度与目标模型差别较大，训练效果反而更差。
• 训练数据的长度分布更宽，训练后模型对不同难度的题目输出长度差异明显（图 5）。

图 5：(a) 我们的数据长度分布比常规数据宽得多；(b) 三种状态的数据长短分明；(c) 训练后模型（绿线）在 AIME25 上整体输出变短，同时保留了难题上的长推理。 04 适用场景 Hint Tuning 本质上是一套数据构造方法，不改模型结构，也不依赖强化学习，迁移成本很低。以下场景尤其适合：

• 有标准答案的推理任务。 数学解题、知识问答等能自动判断对错的任务，可以直接复用这套流程。
• 难度分布不均的业务。 简单请求占比越高，省下的 token 越多；遇到难题，模型依然会保留完整推理。
• 已有同家族模型的团队。 只需一对同家族的 Thinking 和 Instruct 模型，加上千条级别的业务题目，就能构造出自己的训练数据。

目前我们在数学推理上完成了完整验证。在训练没覆盖的代码、科学问答等领域，模型会保守地保留长推理，准确率不受影响。想在新的业务上降本，用该业务的题目重新跑一遍数据构造即可。 05 总结与展望 推理模型的效率问题，很大一部分出在“不分难易,一律深度思考”上。Hint Tuning 把推理模型自己的思维链切成 hint，用同家族 Instruct 模型测出每道题真正需要的思考长度，再据此构造训练数据。整个过程不需要人工标注、奖励模型或强化学习，1000 条数据、一次 SFT，就让推理模型在数学基准上平均少输出 31.5% 的 token。
接下来，我们会把这套数据构造方法推广到更多有标准答案的任务上，并结合推理引擎侧的优化，在真实业务中验证端到端的成本和时延收益，让推理模型在效果、速度和成本之间取得更好的平衡。 /// 作者简介

• 樊思琪 小红书大模型基建部Ace实习生，电子科技大学计算机博士在读，曾在NeurIPS，ACL，ICML等领域顶会发表多篇论文 主要研究方向：大模型后训练，Agentic RL
• 雨田 小红书大模型基建部引擎优化工程师，曾在CVPR，SIGGRAPH，ACL等算法领域顶会发表多篇论文。 主要研究方向：大模型推理引擎和加速算法，低精度量化，投机解码等。

/// 团队介绍 我们是小红书大模型基建部（RAI Studio），负责公司级 AI 大模型全链路基础设施建设（Github主页：https://github.com/redai-studio）。 团队完整闭环「算力 - 框架 - 平台」，致力于解决产业级大模型生产效率问题，构建了 Relax RL训练框架、RedSlim 压缩工具、rLLM 推理框架、QuickSilver、Red Token Hub、AgentSphere等覆盖大模型生产、服务、应用场景的公司级平台产品，重点探索方向包括长文多图千卡 RL 训练、Agentic 场景高效推理、Efficient LLM 加速算法、万卡集群异构算力调度、AI Native 大模型平台能力等。
我们致力于打造小红书面向 AI 时代的生产力底座 ，在训练、推理、压缩、MaaS、算力和 Agent 等方向持续建设领先、可靠、易用的 AI Infra 能力，让模型能力像水电一样稳定、普惠、低成本地服务社区、大商业、国际化、审核、企业智能等核心业务场景，并推动小红书在大模型 Infra 领域形成清晰的行业辨识度与长期技术影响力。
招聘信息 2027届校招岗位：

• 大模型训练框架研发工程师： 小红书招聘
• 大模型推理加速研发工程师： 小红书招聘
• Agent平台全栈研发工程师： 小红书招聘
• 大模型MaaS架构研发工程师： 小红书招聘
• 大模型平台全栈研发工程师： 小红书招聘
• 大模型算力平台研发工程师： 小红书招聘

顶尖人才计划岗位：

• 【REDstar】大模型 Infra 工程师： 小红书招聘
• 【REDstar】AI Agent Infra 工程师： 小红书招聘
• 【Ace顶尖实习生】全模态Agent长程任务RL算法+工程Co-Design研究： 小红书招聘
• 【Ace顶尖实习生】全模态大模型理解与生成轻量化及加速算法研究： 小红书招聘

欢迎关注大模型基建部小红书账号，我们将在上边分享更多 AI 基建技术探索与招聘信息～