Xorbits Inference（Xinference）是一款高性能、全功能的分布式推理平台，广泛适配大语言模型（LLM）、语音识别模型、多模态模型等多种AI模型。借助 Xinference，用户可快速实现私有化一键部署——无论是自研模型还是社区热门开源模型，均能轻松上手：https://www.php.cn/link/544d8a7bb8401b0c7450ed9d6950a1fc 都将助您高效接入前沿AI能力，释放更多创新潜力。其核心能力与特色包括：
- ? 模型部署，极简高效：大幅简化大语言模型、语音识别模型及多模态模型的上线流程，单条命令即可完成完整部署。
- ⚡️ 模型丰富，开箱即用：内置大量中英文主流大模型，如 Baichuan、ChatGLM2 等，支持一键调用；内置模型库正持续高速扩充中！
- ? 异构加速，性能跃升：依托 ggml 引擎，实现 CPU 与 GPU 协同推理，显著降低响应延迟，提升整体吞吐量。
- ⚙️ 接口多元，灵活集成：提供 OpenAI 兼容 RESTful API（含 Function Calling）、RPC、CLI 命令行工具、Web 可视化界面等多种交互方式，便于模型管理与系统对接。
- ? 分布式调度，集群协同：原生支持跨节点分布式部署，结合智能资源调度器，按模型规模动态分配至不同设备，最大化利用集群算力。
- ? 生态开放，无缝融合：深度兼容 LangChain、LlamaIndex、Dify、Chatbox 等主流 AI 开发框架与工具链，开箱即连。
———————————————————————— ————————————————————————
? Xinference v1.16.0 版本更新概览
✅ 本次重点升级
- ? 新增瀚博半导体 GPU（VACC）支持：正式适配 VACC 架构，并扩展至视觉语言模型（VLM）推理场景，进一步拓展国产硬件生态覆盖。
- ? Apple MLX 后端新增持续批处理（Continuous Batching）：MLX 聊天类模型现已支持并发请求处理，大幅提升服务吞吐与并发响应能力。
- ? 新增模型支持
* Qwen-Image-Layered
* Fun-ASR-Nano-2512
* Fun-ASR-MLT-Nano-2512 - ⚠️ Python 版本要求调整：自本版本起，最低运行环境为 Python 3.10，不再兼容 Python 3.9 及更早版本。
? 社区版更新详情
? 快速安装方式
- pip 安装：
pip install 'xinference==1.16.0' - Docker 部署：拉取最新镜像，或在已有容器内通过 pip 升级
? 新增模型支持
- Qwen-Image-Layered
- Fun-ASR-Nano-2512
- Fun-ASR-MLT-Nano-2512
✨ 功能新增
- vLLM 后端：新增对 DeepSeek-V3.2 / DeepSeek-V3.2-Exp 的 vLLM 引擎支持
- VACC（瀚博半导体 GPU）：全面支持 LLM 与 VLM 场景下的推理加速
- MLX：聊天模型启用持续批处理机制，实现高并发推理
- Rerank 模块：支持异步批量处理（async batch）
- 模型启动配置：新增
architectures字段用于精细化识别模型架构 - Web UI：图像类模型支持通过环境变量及自定义参数灵活配置
- MiniMaxM2ForCausalLM：新增 vLLM 后端兼容支持
? 能力增强
- 副本调度优化：GPU index 分配策略更连续，提升资源利用率
- Docker 镜像升级：基础环境升级至 CUDA 12.9，集成 vLLM v0.11.2
- 新增 torchaudio 2.9.0 兼容支持
- 模型元数据（JSON）持续完善：覆盖 DeepSeek、GLM、LLaMA、Jina、Z-Image 等多个系列
? 问题修复
- 修复 PaddleOCR-VL 输出结果异常问题
- 修复自定义 embedding / rerank 模块的解析错误
- 修复 CPU 模式下启动失败及多 worker 启动异常
- 修复 OCR API 返回空响应的问题
- 修复
n_gpu参数解析与传递逻辑缺陷
? 文档更新
- 补充新上线模型的详细说明文档
- 完善 v1.15.0 版本发布日志内容
? 企业版专属升级
- 昇腾平台性能强化：在昇腾硬件上实现更高推理效率与更强运行稳定性
- 微调能力升级：优化全流程微调体验，支持更复杂的企业级训练任务与定制化调优需求
参考链接
- 中文版更新日志：https://www.php.cn/link/34d4da4dbe2204c93ce46975c5466b82
- 英文版更新日志：https://www.php.cn/link/f47e65e203e26f9f640a3c1d52f45a9c
———————————————————————— ————————————————————————
衷心感谢每一位社区贡献者对 Xinference 项目的支持与共建！我们也诚挚欢迎更多开发者、研究人员和企业用户加入 Xinference 的使用与开发行列。欢迎前往 https://www.php.cn/link/ac13ef4bd5a77bb7ad082cc2428ae72d 为我们点亮 ⭐ Star，以便第一时间获取后续版本更新通知。
源码地址：点击下载
