大模型训练与推理框架的 GPU 镜像构建深度解析（CUDA 环境）
本文选取了四个经典的开源组件：vLLM (高吞吐推理)、Hugging Face TGI (生产级推理)、Llama.cpp (端侧/CPU推理) 以及 DeepSpeed (大规模分布式训练)，通过对其完整 Dockerfile 的深度剖析，揭示它们如何构建带有 CUDA 运行时的容器镜像。
阅读全文 ：大模型训练与推理框架的 GPU 镜像构建深度解析（CUDA 环境）
公众号
原力注入
原力注入受原力觉醒和依赖注入（Dependency injection）启发，希望通过本平台及我们的努力将云原生技术的原力注入给广大技术从业者。
这个来源的文章
NVIDIA GPU 容器环境：原理与构建指南
在 GPU 容器化环境中，核心原则是职责分离：宿主机 (Host) 负责“驱动与设备管理”，容器 (Container) 负责“运行时库与应用本身”。两者通过 NVIDIA Container Toolkit 进行解耦与衔接。
阅读全文 ：NVIDIA GPU 容器环境：原理与构建指南vLLM KV Offloading Connector 与 LMCache：架构设计与性能深度对比
本文将结合 vLLM 官方设计理念、LMCache 技术文档以及核心代码实现，对这两种方案进行深入剖析与对比。
阅读全文 ：vLLM KV Offloading Connector 与 LMCache：架构设计与性能深度对比NIXL (NVIDIA Inference Xfer Library) 简介
NIXL (NVIDIA Inference Xfer Library) 是一款专为 AI 推理场景打造的高性能点对点通信中间件。它旨在为 NVIDIA Dynamo 等推理框架提供底层数据传输支持，解决异构计算环境下的复杂通信难题。
阅读全文 ：NIXL (NVIDIA Inference Xfer Library) 简介NVIDIA GPUDirect P2P 技术详解：节点内 GPU 高速互联
GPUDirect P2P (Peer-to-Peer) 技术允许同一节点内的 GPU 直接访问彼此的显存，无需将数据拷贝到 CPU 主机内存。这是构建高效多卡并行计算的基础，也是 GPUDirect 家族中最基础且应用最广泛的技术之一。
阅读全文 ：NVIDIA GPUDirect P2P 技术详解：节点内 GPU 高速互联NVIDIA GPUDirect 技术详解：RDMA 与 Storage
在 AI 场景中，数据规模持续增长，数据传输逐渐成为性能瓶颈。传统架构依赖 CPU 中转 GPU 与网卡、存储的数据，增加延迟并占用资源。英伟达提出的 GPUDirect 技术通过绕过 CPU，实现 GPU 与外部设备的高效直连通信，本文介绍 GPUDirect RDMA 与 Storage 技术
阅读全文 ：NVIDIA GPUDirect 技术详解：RDMA 与 StorageLMCacheConnector (vLLM 集成) 代码分析
LMCacheConnector是LMCache架构中负责与 vLLM 计算引擎深度集成的核心适配层。它作为 vLLM 的 KVConnectorBase_V1 接口实现，驻留在 vLLM 的进程空间内，充当了 vLLM 基于 Block 的物理内存视图与 LMCache 基于 Token 的逻辑存储视图之间的智能转…
阅读全文 ：LMCacheConnector (vLLM 集成) 代码分析LMCache LocalCPUBackend 源码分析
LocalCPUBackend 构成了 LMCache 的 L1 本地内存缓存层，基于主机内存提供微秒级访问能力，并同时承担核心内存分配器职责，统一负责本地 I/O 与远程传输过程中所有内存对象的分配与管理。
阅读全文 ：LMCache LocalCPUBackend 源码分析LMCacheEngine 核心引擎代码分析
本文档深入解析LMCache的核心调度中枢 LMCacheEngine，负责 KV Cache 的存储、检索与回收等全生命周期管理，支撑层级流水线并行推理中的 I/O 与计算协同，兼容并对接 vLLM 等主流推理引擎，同时提供缓存 Pin、压缩优化以及跨节点缓存迁移与资源释放等关键能力
阅读全文 ：LMCacheEngine 核心引擎代码分析一文算清 LLM 推理显存：权重 + KV Cache + 额外开销，怎么做才不翻车？
本文拆解LLM推理显存三大来源：模型权重、KV Cache与运行时开销，给出可复现的KV Cache通用公式与单Token增量估算，解释并发与上下文为何线性吃显存，并用 Qwen3-0.6B + A100-40G 做容量规划示例，推导最大可容纳 Token 与并发上限，帮助部署不再“爆显存”。
阅读全文 ：一文算清 LLM 推理显存：权重 + KV Cache + 额外开销，怎么做才不翻车？好书推荐｜《动手构建大模型》：一部面向真实工程世界的大语言模型系统化实践指南
《动手构建大模型》是一部立场明确、结构完整、工程取向清晰的大语言模型实践指南。它不追求浮夸的「一夜精通」，而是通过扎实而系统的内容组织，帮助读者逐步建立对 LLM 应用工程的整体认知框架，并在真实项目中不断迭代验证。
阅读全文 ：好书推荐｜《动手构建大模型》：一部面向真实工程世界的大语言模型系统化实践指南NVIDIA Inference Context Memory Storage：为长上下文与 Agentic AI 推理打造的 G3.5 上下文存储层
NVIDIA Inference Context Memory Storage (ICMS) 是 NVIDIA Rubin 平台面向推理场景引入的一类上下文存储基础设施，旨在将推理上下文（Key-Value, KV cache）作为一种 AI 原生数据类别进行高效复用与共享。
阅读全文 ：NVIDIA Inference Context Memory Storage：为长上下文与 Agentic AI 推理打造的 G3.5 上下文存储层华为 ModelEngine AI 容器 Flex:ai 开源组件 GPU-Virtual-Service 源码解析
华为 ModelEngine AI 容器 Flex:ai 开源组件 GPU-Virtual-Service 深度剖析：CUDA 劫持机制、全链路流程与 HAMi-Core 对比。
阅读全文 ：华为 ModelEngine AI 容器 Flex:ai 开源组件 GPU-Virtual-Service 源码解析LMCache 分层存储架构与调度机制详解
本文档深入剖析 LMCache 的多级存储架构及其代码实现机制。重点阐述核心组件 StorageManager 如何协同管理内存 (L1)、弹性互联 (L2)、本地磁盘 (L3) 及远程共享存储 (L4)，并通过智能调度策略实现 KV Cache 的高效流转与生命周期管理。
阅读全文 ：LMCache 分层存储架构与调度机制详解LMCache 架构概览
LMCache 是一个专为大语言模型（LLM）服务引擎设计的 KV Cache 管理系统，旨在通过高效的缓存机制降低 Time-To-First-Token (TTFT) 并提高系统吞吐量。本文档简要介绍了 LMCache 的核心架构及其主要组件。
阅读全文 ：LMCache 架构概览给大模型写本“标准操作手册”：Agent Skills 实战与深度解析
本文将带你从零开始，通过亲手构建一个 PDF 翻译助手，来直观感受什么是 Agent Skills，并深入探讨为什么它是构建高级 AI Agent 的关键拼图。
阅读全文 ：给大模型写本“标准操作手册”：Agent Skills 实战与深度解析原力注入公众号全篇合集一文读尽（截止 2025 年 12 月 31 日）
原力注入公众号全篇合集一文读尽（截止 2025 年 12 月 31 日）
阅读全文 ：原力注入公众号全篇合集一文读尽（截止 2025 年 12 月 31 日）《动手学大模型智能体》by 上海交大
《动手学大模型智能体》系统介绍大模型智能体的理论与实践，涵盖基础概念、提示工程、评估调试、主流架构、记忆与工具调用、推理规划、微调方法及前沿方向。通过丰富示例与代码，帮助读者全面掌握智能体原理与应用。
阅读全文 ：《动手学大模型智能体》by 上海交大从数据仓库到湖仓一体：现代数据架构的演进与原理
本文以银行案例为主线，阐述数据架构从数仓、数据湖到湖仓一体的演进。分析数仓的实时性瓶颈及数据湖的“沼泽化”痛点，详解 Lakehouse 如何利用 Table Format 技术融合数仓管理能力与数据湖灵活性，实现流批一体与高效数据治理。
阅读全文 ：从数据仓库到湖仓一体：现代数据架构的演进与原理KAG：基于知识增强生成的大语言模型逻辑推理与问答框架
KAG 通过 LLM 友好的互索引知识表示与逻辑符号引导的混合推理引擎，有效解决了专业领域应用中对逻辑敏感性不足的问题，为构建高精度企业级 AI 应用提供了全新范式。
阅读全文 ：KAG：基于知识增强生成的大语言模型逻辑推理与问答框架