国产最强多模态宝座又易主？671B参数练就“火眼金睛”，基于DeepSeek打造
陈骏达约 6 分钟Keye-VL-671B-A37B的预训练涵盖三个阶段，以系统化构建模型的多模态理解与推理能力。模型复用Keye-VL-1.5的视觉编码器，该编码器已经通过8B大小的模型在1T token的多模态预训练数据上对齐，具备较强的基础感知能力。
快手筛选了大约300B高质量数据预训练数据，这与其他大模型动辄以“T（万亿）”计算的训练数据差异很大。快手称，希望以有限计算资源高效构建模型的核心感知基础，确保视觉理解能力扎实且计算成本可控。
Keye-VL-671B-A37B的预训练分三步走：
第一阶段：冻结ViT和LLM，只训练随机初始化的Projector，保证视觉、语言特征能初步做对齐。
第二阶段：打开全部参数进行预训练。
第三阶段：在更高质量的数据上做退火训练，提升模型的细粒度感知能力。
Keye的多模态预训练数据是通过一套自动化的数据管线来构建的。快手对数据做了严格过滤、重采样，并加入VQA数据增强，让数据能覆盖像OCR、图表、表格这些常见且复杂的视觉格式，提升模型的感知质量和泛化能力。
在退火阶段，快手加入了DeepSeek-V3-Terminus生成的思维链数据，让模型在继续强化视觉感知的同时，不会丢掉原本强大的推理能力。
Keye-VL-671B-A37B的后训练由监督微调（SFT）、冷启动和强化学习三个步骤组成，训练任务涵盖视觉问答、图表理解、富文本OCR、数学、代码、逻辑推理等。
在SFT阶段，Keye-VL-671B-A37B技术团队使用了更多的多模态和纯文本长思维链数据，对模型的纯文本能力进行回火并增强多模态能力。在冷启动阶段，采用推理数据增强模型的推理能力，在强化学习阶段，采用复杂推理数据提升模型的think和no_think（思考与非思考）能力，并加入视频数据，增强模型的视频理解能力。
Keye-VL-671B-A37B技术团队对数据集中指令（Instruct）数据和长思维链（Long-CoT）数据的配比进行反复实验，以突破此前监督微调范式片面依赖指令数据的局限性。
这一过程中，快手验证了混合模式（Instruct + Long-CoT）相对于单一模式（Instruct）的优越性，即在SFT数据集中加入更多长思维链推理数据，有利于提升模型整体性能，以及改善后续训练稳定性。
loss曲线显示，在SFT阶段加入更多的CoT数据可以显著降低冷启动阶段的训练loss。
在多个benchmark上的性能对比也表明，混合CoT数据训练的模型相比于指令微调的模型取得了明显的性能提升。
在冷启动阶段，CoT数据的质量对于提升模型的推理能力至关重要，而纯文本模型的推理过程往往冗长而且存在大量重复，为了缓解过度思考的问题，Keye-VL-671B-A37B技术团队开发了严格的数据筛选流程，过滤掉存在冗余反思行为的思维链。
在Keye-VL-1.5-8B上的实验结果显示，过滤冗余数据对于模型的推理能力和感知能力均有增益。
强化学习阶段，快手没有使用传统的GRPO强化学习算法。GRPO是token-level（token层）的建模，在训练MoE模型时存在不稳定性。
在Keye-VL-671B-A37B的训练中，快手采用GSPO（Group Sequence Policy Optimization）作为底层强化学习算法，进行sequence-level（序列层）的建模，提升可验证奖励强化学习（RLVR）训练的稳定性。值得注意的是，该算法是阿里Qwen3系列模型的核心算法之一。
对于强化学习而言，奖励信号的质量至关重要。在Keye-VL-671B-A37B的强化学习系统中，快手首先训练了专门的Verifier（验证器），用于验证模型输出思考过程的逻辑性，以及最终答案与标准答案的一致性，Verifier模型采用Keye-VL-1.5 8B作为基座，训练过程包括SFT和RL两个阶段。
在SFT阶段，既有简单的二分类任务，即直接判断生成的答案是否与参考答案一致，也有更复杂的分析任务，需要Verifier模型采用think-answer的格式分析模型生成的回复的逻辑性和正确性。
在RL阶段，技术团队首先在大规模偏好数据上训练，然后利用人工标注的高质量数据集进行退火，提高Verifier模型的精度。
为了考察Verifier模型对于生成结果的检测精度，技术团队抽取了10000条训练数据以及模型生成的答案，对比Verifier模型和Qwen-2.5-VL 72B Instruct模型的检测精度，在人工抽样的150条Keye-Verifier与Qwen判别结果不一致的数据中，Keye正确的数目达到了128条，Qwen占22条。
基于Keye-VL-preview的预实验显示，Keye-Verifier提供的奖励信号，相对于基于规则匹配的奖励信号，使Keye-VL-preview在多个开源感知benchmark上的平均准确率提升了1.45%，在三个多模态数学数据集上的平均准确率提升了1.33%。
为了筛选高难度样本，快手利用Keye-VL-1.5-8B作为过滤器，在候选数据集上采样并用Verifier模型计算准确率，仅保留正确率在25%~75%之间的数据用于训练。在RL数据集中，快手加入了更多视频数据以提升模型的视频理解能力。
快手称，未来，Keye-VL系列模型将在提升基础模型能力的同时，进一步融合多模态Agent能力，走向更“会用工具、能解复杂问题”的形态。模型的多轮工具调用能力会得到增强，让它能够在真实任务中自主调用外部工具，完成搜索、推理、整合。
同时，快手也会推进“think with image”、“think with video”等关键方向，使模型不仅能看懂图像与视频，还能围绕它们进行深度思考与链式推理，在复杂的视觉信号中发掘关键信息。最终，快手希望打造出更通用、更可靠、更强推理的下一代多模态系统。