你是否想过：一台仅搭载单张24GB显存消费级显卡的设备，竟能完整运行参数量高达671B的DeepSeek R1“满血版”模型，并稳定输出5并发、51 Token/秒的推理速度（更详尽性能指标见下图）？这一水平已完全胜任报告解析、数据洞察等对响应延迟容忍度较高的AI任务。
这组震撼数据源自英特尔最新公布的异构大语言模型服务方案——其底层依托HeteroFlow软件框架，硬件平台则采用至强6性能核CPU（搭配MRDIMM内存并启用AMX指令集加速），核心使命正是突破当前“满血”大模型普遍遭遇的内存瓶颈困局。
众所周知，大模型的发展可谓“成也参数，败也参数”：动辄千亿级的权重规模，在GPU厂商对显存容量的“精打细算”策略下，往往让预算迅速告急！若仅部署单节点，即便插满多块GPU，也仅够勉强容纳模型参数本身，剩余显存空间将严重制约并发能力与上下文窗口长度；而若选择横向扩展至多节点架构？那代价恐怕不只是“咬牙”，而是“咬碎牙根”——投入成本几乎呈倍数增长。
如今，HeteroFlow框架的出现，为MoE类大模型用户带来了全新解法——只要选用英特尔至强6性能核CPU作为主控处理器，破局之路就此开启！
这一思路或将刷新你过往的认知：“AI时代CPU已退居二线”，或“CPU在AI系统中只是GPU的配角”。事实上，它真正实现的是GPU与CPU优势互补：GPU专注高吞吐计算，CPU发挥大内存带宽优势。HeteroFlow的核心逻辑在于——将Attention机制、Dense MLP等算力密集型、高价值模块保留在GPU执行；而将MoE结构中对内存容量极度敏感的部分（如专家路由与稀疏激活），灵活卸载至CPU及其配套的大容量内存系统中。
这种协同并非否定GPU的价值，更非宣称CPU可取而代之；恰恰相反，它让GPU得以摆脱内存束缚，将其昂贵的算力与有限显存资源，全部聚焦于提升并发吞吐与延长上下文支持——真正做到“好钢用在刀刃上”，从而显著拉升整机性能表现与投资回报率。
下面，我们深入拆解HeteroFlow的三大关键技术支柱：
一、智能卸载（Offload）
对AI推理流程进行精细化任务切分，将MoE子模块的部分乃至全部计算负载迁移至CPU端执行，使GPU得以全力攻坚算力密集环节。具体实现路径如下图所示：
二、流水调度（Pipelined Scheduling）
通过定制化流水线调度机制，确保CPU与GPU在各自承担的子任务之间无缝衔接、高效协同，充分释放双端硬件潜能。调度逻辑示意如下：
三、AMX加速（Acceleration）
尽管至强CPU不具备GPU级别的AI原生算力，但其内置的AMX（Advanced Matrix Extensions，高级矩阵扩展）技术堪称“CPU中的Tensor Core”。该技术专为矩阵运算优化，可显著加速MoE中涉及的专家权重加载、稀疏激活计算等关键环节。若你尚不熟悉AMX，可通过以下两张图快速掌握其核心架构与实测加速能力：
细心的读者可能已注意到：前文反复强调“HeteroFlow + 至强6性能核CPU”这一黄金组合。之所以力推该平台，原因明确：它不仅原生集成AMX指令集，且主流SKU（尤其是面向机头场景设计的型号）全面支持MRDIMM内存（速率可达8000MT/s / 8800MT/s），是当前市场中极少数能同时满足超大内存容量与超高带宽需求的解决方案。
倘若你觉得前述测试所展现的“轻量级”配置与性能仍难满足你更高阶的应用诉求，请稍安勿躁——英特尔正紧锣密鼓地推进HeteroFlow+至强6在两大进阶场景中的验证工作：
- 在中等规模多节点系统中，尝试将MoE结构中调用频次较低的“冷专家”迁移至CPU侧运行，以进一步提升整体并发能力并拓展上下文支持长度；
- 在超大规模AI集群环境下，当某块GPU突发故障时，利用CPU临时接管部分MoE计算任务，保障集群服务连续性与稳定性。
我们热切期待这两项新能力早日完成验证，并向业界公开更具说服力的性能与成本效益数据。
谁说CPU只能给GPU打下手？用至强® 6的海量内存，轻松承载MoE卸载重任！
源码地址：点击下载
