训练大型语言模型在连续潜在空间中进行推理，Meta开源LLM推理技术：Coconut

Meta AI 团队发布了一篇重磅论文，提出了一种全新的大语言模型推理范式 Coconut (Chain of Continuous Thought)。该方法让模型能在连续的隐空间中进行推理,大幅提升了模型在复杂推理任务上的表现。 该方法的核心思想是让模型在连续的隐空间中进行推理，而不是局限于离散的语言空间。Coconut 方法让模型学会了一种类似"广度优先搜索"的推理模式： - 模型可以在隐空间中同时编码多个可能的推理方向 - 通过某种隐式价值函数逐步筛选出正确路径 - 避免了传统CoT容易陷入死胡同的问题 这种推理模式更接近人类在解决复杂问题时的思维过程。 https://arxiv.org/abs/2412.06769