
巨人网络AI Lab携手清华大学电子工程系SATLab研究团队,近日共同宣布一项重要技术进展:成功研发全球首个支持多方言语音合成的大模型架构——DiaMoE-TTS,并正式向全社会开放其全部代码、数据与技术方案,致力于促进方言语音合成领域的公平化与普及化发展。
尽管当前主流的文本转语音(TTS)大模型已展现出强大能力,但针对方言场景的语音合成(Dialect TTS)仍处于行业发展的边缘地带。现有工业级方言模型普遍依赖大规模私有语音数据,造成方言研究人员及开发者在语料建设与系统开发方面缺乏统一标准和可用工具,形成显著的技术壁垒。
此次发布的DiaMoE-TTS框架为上述难题提供了完整且开源的应对方案,其实际表现已接近专业级方言TTS系统的水准。该框架的核心突破体现在两大方面:
- 标准化IPA音标体系:融合语言学专家知识,设计了一套覆盖多方言的统一国际音标(IPA)表示方法,有效提升跨方言建模的一致性。
- 低数据依赖设计:仅需利用公开可获取的方言ASR(自动语音识别)语料进行训练,大幅降低对专有高成本数据的依赖,显著增强实用性与可复制性。
在面向中文方言如粤语(广东话)、四川话、上海话等版本推出之前,研究团队已在英语、法语、德语以及荷兰比尔茨语等多种语言环境中完成验证,充分证明了该方法在全球多语言背景下的良好适应性与稳定性。
巨人网络AI Lab与清华大学电子工程系SATLab强调,DiaMoE-TTS的全面开源旨在赋能每一位科研人员、技术开发者以及语言文化遗产保护者,使其能够自由地使用、优化和拓展该系统。他们希望借此让那些面临消逝风险的小语种与地方方言,在通用大模型主导的时代依然保有发声的机会,并通过开放协作的方式实现更广泛的传播与延续。
源码地址:点击下载










