元象发布了全球首个上下文窗口长度256k的开源大模型xverse-long-256k。这个模型支持输入25万汉字，使得大模型应用能够进入“长文本时代”。该模型完全开源，可以无条件免费商用，并且还附带有详细的手把手训练教程，这让海量的中小企业、研究者和开发者能够更早地实现“大模型自由”。
全球主流长文本大模型图谱
参数量和高质量数据量决定了大模型的计算复杂度，而长文本技术（Long Context）是大模型应用发展“杀手锏”，因技术新、研发难度高，目前多为闭源付费提供。
XVERSE-Long-256K支持超长文本输入，可用于大规模数据分析、多文档阅读理解、跨领域知识融合，有效提升大模型应用的深度与广度：一、为律师、金融分析师或咨询师、prompt 工程师、科研人员等解决分析处理较长文本的工作；二、在角色扮演或聊天应用中，缓解模型“忘记”之前对话的记忆力问题，或胡说八道的“幻觉”问题等；三、更好支持智能体（AI Agent）基于历史信息进行规划和决策；四、帮助AI原生应用保持连贯、个性化的用户体验。
至此，XVERSE-Long-256K填补了开源生态空白，还与元象此前70亿、130亿、650亿参数大模型组成“高性能全家桶”，将国产开源提升至国际一流水平。
元象大模型系列
免费下载元象大模型
- GitHub：https://github.com/xverse-ai/XVERSE-13B
- hugging face：https://huggingface.co/xverse/XVERSE-13B-256K
- 魔搭：https://modelscope.cn/models/xverse/XVERSE-13B-256K
- 问询发送：opensource@xverse.cn
用户可登录大模型官网（chat.xverse.cn）或小程序即刻体验 XVERSE-Long-256K。
高性能定位评测表现出色
为确保业界对元象大模型有全面、客观和长期的认知，研究人员参考权威行业测评，制定了六个维度的9项综合测评体系。XVERSE-Long-256K 均表现出色，超越其他长文本模型。
全球主流长文本开源大模型评测结果
XVERSE-Long-256K 通过了常见的长文本大模型性能压力测试“大海捞针”。该测试在长文本语料中隐藏一个与其内容无关的句子，并通过自然语言提问让大模型准确提取该句子。
长篇小说 阅读理解
目前国内大多数大型模型只支持中英双语，但元象支持40多种语言。我们对16万字符的俄语经典小说《钢铁是怎样炼成的》和41万字符的德语历史传记《人类群星闪耀时》进行了测试。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
《钢铁是怎样炼成的（俄文版）》测试 
《人类群星闪耀时（德文版）》测试
法律法条 精准应用
以《中华人民共和国民法典》为例，展示对法律术语的解释，以及对案例进行逻辑分析、结合实际的灵活应用：
《民法典》测试
手把手教你训练长文本大模型
1. 技术挑战
- 模型训练：GPU显存的占用与序列长度的平方成正比，使训练量急剧上升。
- 模型结构：序列越长，模型的attention越分散，模型越容易忘记前序内容。
- 推理速度：模型序列越长，将大幅度降低模型推理速度。
2. 元象技术路线
长文本大模型技术是在近一年内发展出来的新技术，其主要技术方案为：
- 直接进行长序列的预训练，但会导致训练量成平方倍的提升。
- 通过位置编码的插值或外推拓展序列长度，这种方法会降低位置编码的分辨率，从而降低大模型输出效果。
元象长文本大模型训练流程
第一阶段：ABF+继续预训练
- GitHub：https://github.com/xverse-ai/XVERSE-13B
- hugging face：https://huggingface.co/xverse/XVERSE-13B-256K
- 魔搭：https://modelscope.cn/models/xverse/XVERSE-13B-256K
- 问询发送：opensource@xverse.cn
