北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

聖光之護

发布时间：2024-10-15 18:30:10

653人浏览过

来源于机器之心

转载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

北大林宙辰团队全新混合序列建模架构mixcon：性能远超mamba

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

阿里妈妈·创意中心
阿里妈妈营销创意中心

下载

在自然语言处理、语音识别和时间序列分析等众多领域中，序列建模是一项至关重要的任务。然而，现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。

因此，北京大学林宙辰、徐鑫提出了一种全新混合序列建模架构 ——MixCon，它为解决这些难题带来了创新性的方案。经实验验证，其性能远超 Mixtral、Mamba 和 Jamba。论文已在 European Conference on Artificial Intelligence (ECAI) 2024 上发表。

论文标题：MixCon: A Hybrid Architecture for Efficient and Adaptive Sequence Modeling
论文地址：https://zhouchenlin.github.io/Publications/2024-ECAI-MixCon.pdf

一、现有序列建模模型的困境

线性注意力 Transformer

线性注意力 Transformer 旨在通过近似注意力机制来提高原始 Transformer 模型的效率，将计算复杂度从北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

降低到

或

，但在处理长序列时可能会面临性能下降和计算开销增加的问题。

例如，早期利用局部敏感哈希方案虽降低复杂度，但引入大常数因子；近期通过改变计算顺序等方法近似 Softmax 函数，但仍存在性能不如 Softmax 注意力且可能增加额外开销的情况。

线性 RNN 模型

线性 RNN 模型如 Mamba 等通过将序列表示为状态空间并利用扫描操作，以线性时间复杂度提供了序列建模的新解决方案。

然而，它们可能缺乏复杂序列建模任务所需的适应性和动态特性，并且像传统序列模型一样，缺少反馈机制和自适应控制。

MoE 模型

MoE 模型通过结合专家模块，能有效处理长序列并保持计算效率，根据输入数据自适应选择专家模块。

但 MoE 模型的专家模块稀疏激活可能导致训练稳定性问题，部分参数不常使用降低参数效率，在处理长序列时可能在计算效率和训练稳定性方面面临挑战，且对动态变化适应性不足。

二、MixCon 的核心架构与技术

Conba 模型架构

1. 状态空间方程

Conba 将序列建模任务表示为状态空间系统，状态空间定义为北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

和

，其中

、

和

分别为时间步

的状态、输入和输出，北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

和

是非线性函数，可由神经网络近似。

，其中

和

是可学习参数矩阵。

，

是可学习参数矩阵。

为处理长序列，Conba 采用选择性状态空间机制北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

，以及引入延迟状态

和动态状态缩放机制

。

最后状态空间系统表示为北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

来捕捉长程依赖和适应序列动态变化。

2. 自适应控制机制

设计目标是最小化实际输出北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

和期望输出

之间的跟踪误差

。

控制增益矩阵

通过

更新，其中

是跟踪误差向量

的 2 范数，

是学习率。

3. 实施细节

神经网络近似：

利用 MLP 近似状态转移函数北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

的非线性部分和观察函数北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

，通过端到端训练确定最佳参数。

选择性状态空间函数

用 SwiGLU（基于 Swish 和 GLU 的混合激活函数）近似，其公式为北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

。

进一步扩展和增强稳健性：引入过程噪声北大林宙辰团队全新混合序列建模架构MixCon：性能远超Mamba

和观察噪声

，

，增强模型对扰动的适应性。

4. 模型架构图如下所示：

MixCon 模型架构

MixCon 是结合注意力机制的 Transformer 层、Conba 层和 MoE 组件的创新混合解码器架构。

在内存使用方面，通过平衡注意力和 Conba 层，相比 Mamba 可将 KV 缓存减少 32 倍。例如，在 256K 令牌上下文环境中，MixCon 仍能保持较小的 KV 缓存优势（如表 1 所示）。

在吞吐量方面，处理长序列时，Conba 层计算效率更高，增加其比例可提高整体吞吐量。

基本配置单位是 MixCon 块，由 Conba 或注意力层组合而成，每个层包含注意力模块或 Conba 模块，后接 MLP 或 MoE 层。MixCon 中的 MLP 层被 MoE 层替换，以增加模型容量同时保持较低计算负载。

对于 Conba 层实施，采用 RMSNorm 等技术，模型词汇量为 256K，使用 BPE 进行训练，每个数字为单独令牌。

模型架构图如下所示：

三、MixCon 的实验与评估

实施细节

选择特定配置适应单块 80GB A800 NVIDIA GPU 的计算能力，实现质量和吞吐量的优化。

序列由 4 个 MixCon 块组成，每个 MixCon 块含 8 层 L = 8，注意力层和 Conba 层比例为 2:6 (a:c = 2:6)，每隔一层 (e = 2) 用 MoE 替换 MLP 模块，模型有 16 个专家 (n = 16)，每个令牌使用 2 个顶级专家 (K = 2)。

上下文长度分析

MixCon 在单块 80GB A800 GPU 上的最大上下文长度是 Jamba 的两倍、Mixtral 的四倍、Llama - 2 - 70B 的十四倍（如图 3 所示）。

吞吐量分析

1. 配置一：考虑不同批大小，在单块 A800 80GB GPU（int8 量化）、8K 上下文长度下生成 512 个输出令牌，MixCon 吞吐量是 Mixtral 的三倍、Jamba 的两倍（如图 4 所示）。

2. 配置二：单批次（批大小 = 1）、四块 A800 GPUs（无量化）、不同上下文长度下生成 512 个输出令牌，处理 128K 令牌时，MixCon 吞吐量是 Jamba 的 1.5 倍、Mixtral 的 4.5 倍（如图 5 所示）。

数据集评估

本文在一系列标准学术基准测试中评估 Conba 性能，包括常识推理任务（如 HellaSwag、WinoGrande、ARC - E、ARC - Challenge）、阅读理解任务（如 BoolQ、QuAC）、聚合基准测试（如 MMLU、BBH），采用不同的学习策略。

MixCon 性能与类似或更大规模的先进公开模型相当或更优，尽管总参数比 Llama - 2 少，但作为稀疏模型，其活跃参数仅 5B，处理长序列时 KV 缓存仅需 2GB，而 Mixtral 需 32GB（如表 2 所示）。

消融实验

展示注意力和 Conba 层结合的优势及最佳比例和交织技术。纯 Conba 模型在上下文学习有困难，Attention - Conba 混合模型有类似纯 Transformer 模型的上下文学习能力。

以 HellaSwag（10 - shot）、WinoGrande（5 - shot）、Natural Questions（NQ，5 - shot）为指标，MixCon 表现稳健（如表 3 所示），MixCon（无 MoE）训练过程损失更低（如图 6 所示）。

长上下文评估

利用问答基准测试评估 MixCon 处理长上下文能力，使用 L - Eval 中最长上下文数据集的五个数据集，以少样本格式（每个实验用三个例子）进行实验。

在 NarrativeQA、LongFQA、Natural Questions（NQ）、CUAD 等数据集上评估，MixCon 在多数数据集上优于 Mixtral 和 Jamba，平均性能优越，且在长上下文任务中具有更好的吞吐量（如表 4 所示）。

结合注意力和 Conba 的优势及混合专家的影响

1. 注意力和 Conba 比例研究

用 13 亿参数模型在 2500 亿令牌上训练，MixCon 性能优于纯注意力或纯 Mamba，注意力和 Conba 层比例为 2:6 或 1:7 时性能差异小（如表 5 所示）。

2. 混合专家的影响

当在 MixCon 架构的大规模情境（5B 参数，在 50B 令牌上训练）中应用 MoE 技术时，性能有显著提升（如表 6 所示）。

四、MixCon 的优势与展望

MixCon 作为创新的混合序列建模架构，通过整合多种技术，在处理复杂动态序列时具有高效的计算效率，在各项任务中展现出显著优势，能高效处理长序列、内存使用低且吞吐量高，具有高可扩展性和实用性。然而，它仍有改进空间，如进一步优化状态空间表示、长序列的自适应控制、特定领域微调以及训练算法等。

总体而言，MixCon 为序列建模提供了新的解决方案，在复杂序列处理方面表现出色，为 NLP 及其他领域的应用开辟了新道路。未来，我们期待它在更多领域发挥更大的作用，为技术发展带来更多的突破和创新。

aishort怎么避免重复生成内容_aishort优化输入方式实用技巧【技巧】

PerplexityAI怎么改写已有文章_PerplexityAI文本优化技巧【技巧】

如何提升代码运行的稳定性和效率利用DeepSeek进行自动化回归测试

如何快速掌握复杂的电路仿真设计利用豆包AI进行理论与实践步骤指导

如何零基础学会利用AI进行内容创作利用DeepSeek制定全套学习成长计划

数码产品性能查询

该软件包括了市面上所有手机CPU，手机跑分情况，电脑CPU，电脑产品信息等等，方便需要大家查阅数码产品最新情况，了解产品特性，能够进行对比选择最具性价比的商品。

下载

相关专题

github中文官网入口 github中文版官网网页进入

github中文官网入口https://docs.github.com/zh/get-started，GitHub 是一种基于云的平台，可在其中存储、共享并与他人一起编写代码。通过将代码存储在GitHub 上的“存储库”中，你可以： “展示或共享”你的工作。持续“跟踪和管理”对代码的更改。

4370

2026.01.21

页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章，大家可以免费体验。

503

2023.08.14

Python 自然语言处理（NLP）基础与实战

本专题系统讲解 Python 在自然语言处理（NLP）领域的基础方法与实战应用，涵盖文本预处理（分词、去停用词）、词性标注、命名实体识别、关键词提取、情感分析，以及常用 NLP 库（NLTK、spaCy）的核心用法。通过真实文本案例，帮助学习者掌握使用 Python 进行文本分析与语言数据处理的完整流程，适用于内容分析、舆情监测与智能文本应用场景。

418

2026.01.27

http与https有哪些区别

http与https的区别：1、协议安全性；2、连接方式；3、证书管理；4、连接状态；5、端口号；6、资源消耗；7、兼容性。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

2927

2024.08.16

TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开，深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析，帮助开发者构建类型安全、结构清晰、易维护的前端工程体系，提高团队协作效率与代码质量。

2026.03.13

Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开，深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例，帮助开发者掌握 Python 在高并发场景中的高效开发方法，并提升系统资源利用率与整体运行性能。

2026.03.12

C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开，系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例，帮助开发者掌握构建高可用微服务系统的关键技术，提高系统的可扩展性与维护效率。

272

2026.03.11

Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开，系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示，帮助开发者构建稳定高效的 Go 并发任务处理系统，提高系统在高负载环境下的处理能力与稳定性。

2026.03.10

Kotlin Android模块化架构与组件化开发实践

本专题围绕 Kotlin 在 Android 应用开发中的架构实践展开，重点讲解模块化设计与组件化开发的实现思路。内容包括项目模块拆分策略、公共组件封装、依赖管理优化、路由通信机制以及大型项目的工程化管理方法。通过真实项目案例分析，帮助开发者构建结构清晰、易扩展且维护成本低的 Android 应用架构体系，提升团队协作效率与项目迭代速度。

2026.03.09

热门下载

网站特效

网站源码

网站素材

前端模板