DeepSeek-R1与Kimi k1.5强化学习架构对比

随着 R1 的破圈，强化学习 （RL） 的最新进展在逻辑推理任务的优化方面取得不错的成绩。

DeepSeek-R1 和 Kimi k1.5 采用了与传统监督微调不同的新的 RL 方法。这些架构实现了多阶段优化管道和复杂的资源分配策略，这对于提高推理深度和计算效率至关重要。

01 DeepSeek-R1 系列

DeepSeek-R1-Zero

直接 RL 训练：与传统方法有很大不同，该模型直接通过 RL 进行训练，无需初始监督微调。这种纯粹的 RL 方法使紧急行为成为可能，例如自我反省和对推理途径的战略探索。

增强的测试时计算利用率：通过在推理过程中动态分配计算资源，DeepSeek-R1-Zero 在测试时推理任务中表现出更好的可扩展性。

DeepSeek-R1

DeepSeek-R1 采用混合架构，包括四个阶段的优化过程：

1. 基于 CoT 的监督微调：基于思维链 （CoT） 推理的初始监督学习阶段。

2. 初级 RL 阶段：此阶段侧重于通过强化学习增强推理。

3. 数据策展：一个包含推理和非推理样本（600k 推理，200k 非推理）的大型精选数据集。

4. 人类偏好对齐：在最后阶段，使用 RL 根据人类偏好数据对模型进行微调，以进一步优化其决策过程。

02 Kimi k1.5 架构

上下文处理

扩展上下文窗口：Kimi k1.5 中的关键创新之一是使用扩展上下文窗口（最多 128k tokens），这使模型能够随着上下文长度的增加而扩展其性能。

Continuous Scaling：随着上下文窗口的扩展，该模型表现出一致的性能提升，从而有效地处理更长、更复杂的输入。

多阶段优化

长链思维训练：该模型从长思维链 （CoT） 训练阶段开始，以建立对扩展标记序列的推理能力。

双阶段强化学习：Kimi k1.5 采用双阶段强化学习方法，首先对模型进行大规模推理任务的训练，然后进行强化学习以提高其推理准确性。

效率优化：复杂的策略优化技术帮助模型在计算效率和推理准确性之间取得平衡。

03 性能分析

04 亮点

测试时计算优化

动态资源分配：DeepSeek - R1 在推理过程中根据任务的复杂程度调整其计算资源，从而优化速度和准确性。

涌现行为：该模型在推理过程中展现出战略性的问题重新评估能力，这是处理复杂推理任务的关键特性。

效率提升

长序列到短序列转换：Kimi k1.5 采用了一些技术，通过将较长的输入序列动态转换为计算上更易于处理的形式，在保持高推理质量的同时降低计算需求。

04 研究意义

强化学习训练范式

纯强化学习的可行性：这些模型证明了纯强化学习训练范式的有效性，即绕过传统的监督微调，转而通过强化学习直接优化推理能力，这对现状提出了挑战。

混合方法：监督微调、强化学习和人类偏好对齐的结合，突显了混合优化技术在提升模型复杂任务性能方面的功效。

扩展与效率

扩展上下文以提升推理能力：增加上下文窗口对推理性能有积极影响，表明上下文长度与任务准确性之间存在直接关联。

效率权衡：在减少计算资源的情况下仍能保持高精度，这代表了大语言模型（LLM）优化方面的关键进展，特别是在实际应用场景中。

结论

DeepSeek - R1 和 Kimi k1.5 架构提供了有力证据，表明基于强化学习的大语言模型在逻辑推理任务中能够表现出色。通过采用多阶段优化策略并提高测试时的计算效率，这些模型拓展了自然语言推理的可能性边界。未来的研究可以从这些发现中受益，特别是在探索更有效的扩展上下文窗口方法以及完善强化学习训练范式方面。

关注公众号，用极客视角洞察未来！