Omni-Infer v0.8.0 已经发布，超大规模 MoE 模型推理加速技术

心靈之曲

发布时间：2026-01-20 23:46:12

330人浏览过

来源于php中文网

原创

omni-infer v0.8.0 已经发布，超大规模 moe 模型推理加速技术

Omni-Infer v0.8.0 正式上线，带来面向超大规模 MoE 架构模型的高效推理优化能力。

v0.8.0

核心亮点

✓ 新增对 Pangu72B 模型的强化学习（RL）训练支持

Play.ht

根据文本生成多种逼真的语音

下载

已验证支持模型清单

模型名称	适配硬件	量化/精度格式	部署模式
openPangu-Ultra-MoE-718B	A3	INT8	PD分离
openPangu-Ultra-MoE-718B	A2	INT8	PD分离
openPangu-72B	A3	INT8	PD分离
openPangu-38B	A3	INT8	混布
openPangu-38B	A2	INT8	混布
openPangu-7B	A3	BF16	混布
openPangu-7B	A2	BF16	混布
openPangu-7BVL	A3	BF16	混布
DeepSeek-R1	A3	INT8	PD分离
DeepSeek-R1	A3	W4A8C16	PD分离
DeepSeek-R1	A3	BF16	PD分离
DeepSeek-R1	A2	INT8	PD分离
DeepSeek-V3.1	A3	INT8	PD分离
DeepSeek-V3.2	A3	INT8	PD分离
DeepSeek-OCR	A2	BF16	混布
Qwen2.5-7B	A3	INT8	混布（TP≥1, DP=1）
Qwen2.5-7B	A2	INT8	混布（TP≥1, DP=1）
QwQ	A3	BF16	PD分离
QwQ	A2	BF16	PD分离
Qwen3-235B	A3	INT8	PD分离
Qwen3-235B	A2	BF16	PD分离
Qwen3-32B	A3	BF16	PD分离
Qwen3-32B	A3	INT8	PD分离
Qwen3-30B	A3	BF16	PD分离
Kimi-K2	A3	W4A8C16	PD分离
Kimi-K2 Thinking	A3	W4A8C16	PD分离
Longcat-flash	A3	BF16	PD分离
Ling-1T	A3	BF16	PD分离
GPT-OSS120B	A3	INT8	PD分离
GPT-OSS120B	A2	INT8	PD分离
GPT-OSS20B	A3	INT8	PD分离
GPT-OSS20B	A2	INT8	PD分离

安装资源获取

硬件平台	CPU架构	Docker镜像地址	Tar包名称
A3	arm	docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-arm:release\_v0.8.0-vllm	omni\_infer-a3-arm:v0.8.0\_vllm
A3	x86	docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-x86:release\_v0.8.0-vllm	omni\_infer-a3-x86:v0.8.0\_vllm
A2	arm	docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-arm:release\_v0.8.0-vllm	omni\_infer-a2-arm:v0.8.0\_vllm
A2	x86	docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-x86:release\_v0.8.0-vllm	omni\_infer-a2-x86:v0.8.0\_vllm

更多更新说明请参阅：https://www.php.cn/link/168f6cac16567296b81233afac6f127b

源码及安装包下载：立即获取

苹果发布 Xcode 26.1.1，改进并修复多项 AI 功能

Git 2.52-rc0 发布，推进 SHA-1 与 SHA-256 的互操作支持

用数据照亮成长之路：PandaCoder Git 统计工具窗口

Git 3.0 有望在 2026 年发布，默认启用更安全的 SHA-256 哈希算法

JetBrains 宣布 DataGrip 面向非商业用途免费

相关标签:

git docker ai gpt gitee ultra deepseek qwen 架构 docker ocr https gitee gpt

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

上一篇：谷歌 AI 大模型 Gemini 商业化爆发：API 调用量暴涨、企业客户快速增长下一篇：小米汽车回应转向异响：系“阿克曼角”设计低温正常现象

作者最新文章

如何正确使用 if-else 判断数据类型并安全执行数值运算

2026-03-06 15:30

如何将 jQuery 的拖放事件正确迁移至原生 JavaScript

2026-03-06 15:40

前端压缩 + 后端优化：高效解决大图上传卡顿与503错误

2026-03-06 15:44

如何通过 HTML 属性安全隐藏或重置 HTTP Referer？

2026-03-06 15:45

鄂汇办app如何补办残疾证

2026-03-06 16:02

《梅格与怪物》确定登陆手机平台好评如潮爱哭少女RPG

2026-03-06 16:07

Go语言中嵌入结构体的JSON序列化问题解析

2026-03-06 16:13

高效算法：用最少区间增量操作使数组严格递增

2026-03-06 16:30

如何高效提取 NumPy 二维数组每行出现频次最高的所有值

2026-03-06 17:36

vscode怎么查成绩

2026-03-06 17:40

热门AI工具

DeepSeek

幻方量化公司旗下的开源大模型平台

AI编程开发 AI聊天问答

豆包大模型

字节跳动自主研发的一系列大型语言模型

AI编程开发 AI大模型

通义千问

阿里巴巴推出的全能AI助手

AI编程开发 Agent智能体

腾讯元宝

腾讯混元平台推出的AI助手

文档处理 Excel 表格

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

AI编程开发 AI文本写作

讯飞写作

基于讯飞星火大模型的AI写作工具，可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

AI文本写作中文写作

即梦AI

一站式AI创作平台，免费AI图片和视频生成。

图片拼接图画生成

ChatGPT

最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

AI编程开发 AI文本写作

智谱清言 - 免费全能的AI助手

AI编程开发 Agent智能体

相关专题

k8s和docker区别

k8s和docker区别有抽象层次不同、管理范围不同、功能不同、应用程序生命周期管理不同、缩放能力不同、高可用性等等区别。本专题为大家提供k8s和docker区别相关的各种文章、以及下载和课程。

280

2023.07.24

docker进入容器的方法有哪些

docker进入容器的方法：1. Docker exec；2. Docker attach；3. Docker run --interactive --tty；4. Docker ps -a；5. 使用 Docker Compose。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

516

2024.04.08

docker容器无法访问外部网络怎么办

docker 容器无法访问外部网络的原因和解决方法：配置 nat 端口映射以将容器端口映射到主机端口。根据主机兼容性选择正确的网络驱动（如 host 或 overlay）。允许容器端口通过主机的防火墙。配置容器的正确 dns 服务器。选择正确的容器网络模式。排除主机网络问题，如防火墙或连接问题。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

416

2024.04.08

docker镜像有什么用

docker 镜像是预构建的软件组件，用途广泛，包括：应用程序部署：简化部署，提高移植性。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

453

2024.04.08

Docker容器化部署与DevOps实践

本专题面向后端与运维开发者，系统讲解 Docker 容器化技术在实际项目中的应用。内容涵盖 Docker 镜像构建、容器运行机制、Docker Compose 多服务编排，以及在 DevOps 流程中的持续集成与持续部署实践。通过真实场景演示，帮助开发者实现应用的快速部署、环境一致性与运维自动化。

2026.02.11

http与https有哪些区别

http与https的区别：1、协议安全性；2、连接方式；3、证书管理；4、连接状态；5、端口号；6、资源消耗；7、兼容性。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

2864

2024.08.16

JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开，系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理，以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例，帮助开发者理解浏览器底层工作原理，并掌握提升网页加载速度与交互体验的实用技巧。

2026.03.06

Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开，深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例，分析内存安全保障原理与零成本抽象优势，并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学，掌握在高性能与安全性并重场景中的工程实践能力。

117

2026.03.05

PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开，重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景，深入分析性能瓶颈定位与优化思路，帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

231

2026.03.04

热门下载

网站特效

网站源码

网站素材

前端模板