非
公众号

非法加冯

云计算泥石流,数据库老司机.

677 篇已收录文章

这个来源的文章

按发布时间排序

从 KV Cache 到 AI 内存系统:大模型推理架构的演进

本文梳理大模型推理架构从 KV 缓存到 AI 内存系统的演进:随着多轮对话、长 CoT、RL/Agent成为主流,推理瓶颈已从计算转向 KV 内存访问。介绍四层优化并涵盖 MLA、FlashAttention-4等最新进展,核心观点:LLM serving 正演变为面向 KV 状态的在线内存操作系统

阅读全文 :从 KV Cache 到 AI 内存系统:大模型推理架构的演进