The content has been deleted by the author.
原
undefined约 1 分钟
undefined约 1 分钟The content has been deleted by the author.
KEEP THE THREAD GOING
来自同一个声音
Kimi K3 注意力机制深度解析：KDA、Gated MLA 与 AttnRes 的混合架构
2.8 万亿参数的 Kimi K3 原生支持 1M token 上下文窗口。它的注意力系统不是单一种类的升级，而是三种机制的协同设计：69 层 KDA负责高效长上下文处理，24 层 Gated MLA 提供全局精确检索锚点，Attention Residuals 则将"注意力"从序列维度扩展到模型深度维度
阅读全文 ↗：Kimi K3 注意力机制深度解析：KDA、Gated MLA 与 AttnRes 的混合架构国内首本 Spec Driven Develop 图书上市啦！
不要迷恋Vibe Coding，吃透SDD者才能得天下
阅读全文 ↗：国内首本 Spec Driven Develop 图书上市啦！国内首本 Spec Driven Design 图书上市啦！
不要迷恋Vibe Coding，吃透SDD者才能得天下
阅读全文 ↗：国内首本 Spec Driven Design 图书上市啦！SGLang KV Pool 管理：物理存储、Radix Tree 索引与请求视图
SGLang 的 KV cache 管理核心是在有限的 GPU HBM 中高效存储和复用所有请求的 K/V tensor。
阅读全文 ↗：SGLang KV Pool 管理：物理存储、Radix Tree 索引与请求视图