DeepSeek最新王炸模型：VLM架构重磅突破，AI像人一样读图
陈骏达约 5 分钟▲头图由AI生成
DeepEncoder V2关注的核心问题在于：当二维结构被映射为一维序列并绑定线性顺序后，模型在建模空间关系时不可避免地受到该顺序的影响。
这在自然图像中可能尚可接受，但在OCR、表格、表单等具有复杂布局的场景中，线性顺序往往与真实的语义组织方式严重不匹配，从而限制模型对视觉结构的表达能力。
DeepEncoder V2是如何缓解这一问题的？它首先采用视觉tokenizer对图像进行高效表示，通过窗口注意力实现约16倍的token压缩，在显著降低后续全局注意力计算与显存开销的同时，保持了充分的局部与中尺度视觉信息。
它并未依赖位置编码来规定视觉token的语义顺序，而是引入因果流查询（causal queries），通过内容感知的方式对视觉标记进行重排序与蒸馏。这种顺序不是由空间展开规则决定，而是由模型在观察全局视觉上下文后逐步生成，从而避免了对固定一维顺序的强依赖。
每个因果查询可以关注所有视觉token及先前查询，从而在保持token数量不变的前提下，对视觉特征进行语义重排序与信息蒸馏。最终，仅因果查询的输出被送入下游LLM解码器。
该设计本质上形成了两级级联的因果推理过程：首先，编码器内部通过因果查询对无序的视觉标记进行语义排序。随后，LLM解码器在此有序序列上执行自回归推理。
相较于通过位置编码强制施加空间顺序的做法，因果查询所诱导的顺序更贴合视觉语义本身，也就是符合人类阅读内容的正常习惯。
由于DeepSeek-OCR 2主要关注编码器改进，没有对解码器组件进行升级。遵循这一设计原则，DeepSeek保留了DeepSeek-OCR的解码器：一个具有约5亿活跃参数的3B参数MoE结构。
DeepEncoder V2为LLM风格编码器在视觉任务上的可行性提供了初步验证。更重要的是，DeepSeek的研究团队认为，该架构具有演变为统一全模态编码器的潜力。这样的编码器可以在同一参数空间内压缩文本、提取语音特征和重组视觉内容。
DeepSeek称，DeepSeek-OCR的光学压缩代表了向原生多模态的初步探索，未来，他们还将继续探索通过这种共享编码器框架集成额外模态，成为研究探索的新型VLM架构的开端。