京东宣布开源其基于国产芯片自主研发的大模型推理引擎 xllm，旨在帮助企业更高效、低成本地部署ai应用。
本次开源的核心特性涵盖：
- 支持请求优先级的动态调度机制；
- 具备动态自适应能力的 PD 分离架构，可依据实时负载灵活调整 PD 实例配比；
- 面向多模态场景设计的 EPD 混合分离调度方案；
- 结合硬件特性的多级流水线执行引擎；
- 集成图融合、投机推理与动态负载均衡的完整计算优化工具集；
- 基于 Mooncake 技术实现的多层级 KV 缓存全局管理机制；
官方表示，xLLM 推理引擎源于京东零售核心业务的实际需求。目前，该引擎已广泛应用于京言AI助手、智能客服、风险控制、供应链辅助决策、广告推荐等多个关键场景，实现整体效率提升超5倍，服务器成本下降达90%。
“我们始终相信，AI基础设施生态的发展离不开广大开发者的共同参与。此次开源只是一个起点。未来，京东零售AI Infra团队将根据社区反馈持续释放更多高级功能，并携手清华大学、北京大学、中国科学技术大学、北京航空航天大学等高校及产业伙伴，深化产学研合作，共同推进国产AI基础软件技术生态的创新与发展，助力行业智能化转型。”
源码地址：点击下载
