alitrack

没发新模型,但速度快了85%

DeepSeek 又发东西了。这次不是新模型。

今天下午,DeepSeek 和北大联合开源了一个叫 DSpark 的投机解码框架。同时发布的还有一个叫 DeepSpec 的全栈工具链——MIT 协议,可以给任何 Transformer 训练草稿模型。

说人话:V4 的模型权重一个字节没改,但推理速度快了 60% 到 85%。


● ● ●

模型没变,谁在提速?

投机解码这个概念不新。思路很简单:用一个小模型(草稿模型)先猜几个 token,然后大模型一次验证一批,猜对了就省时间。

但之前的方案都有硬伤。

一种叫 DFlash,并行生成。快是真快,但 token 之间没有依赖关系,猜得越多错得越多。

一种叫 EAGLE,逐 token 自回归。接受率高,但每个 token 都要跑一次前向,慢。

DeepSeek 的方案叫 DSpark。做法是把两者拼在一起:一个重的并行头一次生成一块候选 token,再加一个极轻的 Markov 头(仅依赖前一个 token,秩只有 256),修正每个位置的 logit 分布。

关键设计在第三个头:置信度头。它会评估每个候选的质量,然后根据 GPU 当前负载动态决定这次验证几个 token。忙的时候少验证、保吞吐,闲的时候多验证、提速度。

DSpark 半并行架构

DSpark 半并行架构

生产数据:

模型vs MTP-1 速度提升
V4-Flash60%–85%
V4-Pro57%–78%

注意,对比的基线是 MTP-1——也就是 V4 出厂自带的推理加速方案。DSpark 只用两周就把它换掉了。


● ● ●

不止 V4 能用

更重要的新闻藏在 DeepSpec 这个项目里。

DeepSpec 不是给 V4 定制的,它是一个模型无关的训练框架。里面内置了 DSpark、DFlash、Eagle3 三种草稿模型的训练和评估流水线。目前支持的 target 包括 Qwen3、Gemma——理论上任何 Transformer 架构都能用。

实测数据:DSpark 在 Qwen3 上带来最高 30.9% 的吞吐提升。

这意味着什么?以前投机解码是各家的独门手艺——DeepSeek 有 MTP,Meta 有自己的一套,其他团队要么自己造轮子,要么别用。现在 DeepSeek 把整套训练工具链 MIT 开源了,任何团队都可以给自己的模型训练投机解码草稿模型。


● ● ●

比发模型更狠的策略

回顾一下 DeepSeek 今年的操作:

时间发布本质
2月DeepGEMMFP8 矩阵运算库
4月V4 系列1M 上下文模型
4月DeepEP v2专家并行通信
6月DSpark + DeepSpec推理加速基础设施

不是发完模型就歇着,而是一直在往系统层打。

DeepGEMM 是算子库,DeepEP 是通信,3FS 是文件系统,DeepSpec 是推理加速。这四个东西的共同点是:它们不直接提升模型能力,但让模型跑得更快、更便宜。

一个信号:DSpark 的定位。它不是"V4 的 DSpark",是"DeepSpec 里的 DSpark"。代码仓库里 Qwen3 的训练配置和 V4 的放在同一个 config/dspark/ 目录下。它在刻意强调通用性。

社区反应很直白。Unsloth 创始人说吞吐量提升 51% 到 400%。原投机解码怀疑论者说:"我一直是反对者,但 DFlash 和 Whale 这个工作改变了我的看法。"


● ● ●

什么场景值得用

投机解码不是无成本的。高并发(>48 请求)时提升可能不足 30%,超长文本(>128K)下接受率会下降。训练一个草稿模型需要 8 GPU、数十 TB 的目标缓存。

但 DSpark 的置信度调度解决了一个关键工程问题:验证开销。以前的方案在高并发下很容易退化——GPU 已经忙不过来了,还要花时间验证草稿 token。DSpark 会自己判断什么时候少验证、什么时候多验证,这就是它在生产环境能替换 MTP 的原因。


● ● ●

真正重要的事

如果你只看到"V4 变快了 85%",那看到的是一个产品更新。

但 DeepSeek 做的事比这大得多。它在把推理加速从模型专属功能变成开源基础设施。就像 DeepGEMM 让所有人能用高效的 FP8 算子,DeepSpec 让所有人能训练自己的投机解码草稿模型。

模型能力的天花板终究会碰到。让同样能力的模型跑得更快、更便宜——这件事的天花板还远得很。


DSpark 由 DeepSeek-AI 与北京大学联合研发。DeepSpec 代码仓库:github.com/deepseek-ai/DeepSpec(MIT License)