京东正式开源基于国产芯片自研的xLLM大模型推理引擎

京东零售技术2025年09月29日约 2 分钟

xLLM是基于国产芯片自研的一款大模型推理引擎，能让企业部署AI应用时，性能更高、成本更低。

目前，京东已将xLLM开源至GitHub。同时，采用Apache 2.0 许可证，这也意味着自由地使用于商业化产品，无任何附加条款。

此次开源的核心功能包括：

1）基于请求优先级的动态调度器；

2）动态自适应的 PD 分离架构，可根据负载实时调整PD实例的比例；

3）面向多模态场景的 EPD 混合分离调度器；

4）基于硬件特性的多级流水线的执行引擎；

5）涵盖图融合、投机推理、动态负载均衡的计算优化套件；

6）基于Mooncake的多级 KV 缓存的全局管理；

xLLM大模型推理引擎源自京东零售核心业务。目前，该技术服务了京东AI助手京言、智能客服、风控、供应链助手、广告等场景，效率提升5倍以上，机器成本降低90%。

我们始终坚信，AI Infra生态建设离不开每一位开发者。开源，只是第一步。接下来，京东零售AI Infra团队会根据社区需求，继续开放更多高级能力，并和清华、北大、中科大、北航等产学研生态伙伴一起，推动国产AI Infra技术生态的协同创新，推动行业智能化升级。

同时，我们诚挚地邀请每一位对 AI Infra技术充满热情的开发者加入我们，无论是提交PR、提出Issue、参加Workshop，还是在社群分享技术实践，都将是对国产AI Infra技术生态最大的支持！

GitHub地址: https://github.com/jd-opensource/xllm

官方技术交流群：

来自同一个声音