星环科技孙元浩：语料已经是大模型最大的挑战

PHPz

发布时间：2024-06-17 08:01:20

1243人浏览过

来源于机器之心

转载

「原来以为语料已经匮乏了，大模型训练已经没有语料了，实际上不是的，数据还远远没有跑光」。

作为大数据领域超过十年的创业者，「星环科技」创始人及CEO孙元浩并不认同「大模型已经将人类互联网数据穷尽」的说法。

根据他的观察，如今在各行各业企业内部的数据还远远未被足够利用，人类在互联网上的存量数据远远大过目前大模型能够利用的量级。拥有了这些来自各行各业内部高质量的数据，大模型可以在如今的基础上，大大提高准确性。

而关键问题就在于，怎样可以高效地开发这些数据？

大模型时代，语料的开发遇到了新的挑战。孙元浩分享称，目前企业内部的数据往往多是非结构化的、海量的、不同形式的、以小文件居多的，同时标注和校正这些专业数据还有较高的门槛。这对文件系统、知识库系统、语料开发系统等都提出了新的要求。

比如，面对数据量巨大的问题，对企业内部各种文档、PPT的处理，意味着存储和计算资源有更高的要求；在数据多样性方面，对于企业内部不同类型的文档，如媒体文章、政府公文、设计文档等，都需要用训练模型进行识别和解析，这就要求数据处理工具具备强大的多模态数据处理能力。

对于数据安全和隐私问题，在训练和推理的过程中，如何保证企业内部信息的保密与安全性，这对工具的安全把控也提出了新要求；专业数据标注人才问题方面，由于企业内部数据的处理往往是专业领域的标注，比如生物分子式或者专业金融术语，需要更专业的数据标注专家进行处理。

为了应对这些挑战，孙元浩分享了星环科技的一些尝试：

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

星环科技孙元浩：语料已经是大模型最大的挑战

1、升级大数据平台：对 Transwarp Data Hub 数据平台进行升级，使其能够处理更多元化的数据，包括大量的文档和小文件。通过重构源数据管理节点和增加 POSIX 接口，提高了文件系统的支持能力和数据存储效率。

2、增加 Python 接口：在 Data hub 上增加 Python 接口，并将 Python 语言和库进行分布式化，以便在处理语料时使用 Python 语言进行清洗。这有助于提高语料处理的效率和灵活性。

3、推出分布式 Python 引擎：针对语料量通常为几十 T、上百 T 的情况，推出分布式 Python 引擎，提高了处理海量语料的能力和效率。

4、优化向量数据库：对向量数据库进行升级，提高召回准确度和分布式性能，使其能够更好地支持大规模数据的处理和检索。

5、构建知识图谱：提供Transwarp Knowledge Studio for LLM知识工具来构建知识图谱，弥补向量召回的准确度不足。例如在设备维修场景中，将设备的故障数、归零报告等导入知识图谱，大模型在回答问题时可以在知识图谱上进行推理，从而提供更准确的答案。

6、开发语料开发工具：推出语料开发工具，包括语料的解析、分类、清洗、标注、增强等功能，以及从语料中构造问答对和安全测试集。用于自动化或半自动化地处理各种文档类型、语音视频，将其转化为可用于大模型训练的高质量语料。

7、提供大模型工具链：提供大模型整套工具链，包括从语料生成到模型训练、知识库构建、应用开发、智能体构建的一系列过程，以及调度算力的工具。这有助于提高大模型应用的构建效率和管理能力。

8、构建 AI 原生应用：推出无涯·问知和无涯·问数等 AI 原生应用，实现企业内部信息检索和数据分析，提高数据处理的效率和便捷性。

9、支持多种模型和数据源：支持第三方模型，无论是开源还是商用，以及多种数据源，包括个人知识库、企业知识库、财经类数据库、法律法规数据库等，提高数据处理的灵活性和适应性。

基于这些，企业可以直接上传多种类型的资料，产品将快速解析，形成企业自己的知识库。不过，将更多企业内部的数据开发释放并不是终点，孙元浩认为，提升语料质量是目前大模型在提升准确性上最大的挑战。

「现在模型结构大家都不是秘密了，训练方法也不是秘密了，只是没有语料。语料存在于各种地方，因为工作非常巨大，都是巨大的体力活，这是目前最大的挑战，不是之一，这是最大的挑战。」

星环科技孙元浩：语料已经是大模型最大的挑战

MagickPen

在线AI英语写作助手，像魔术师一样在几秒钟内写出任何东西。

下载

除此之外，在大模型落地实践中，孙元浩认为现阶段提升模型准确率的方法主要包括以下几种：

1、构建外挂知识库：将企业的资料、文章等解析出来放到知识库中，让大模型参考知识库的内容进行写作或分析，这是一种快速提升模型准确率的方法。

2、微调模型：通过对大模型进行微调，使其能够学习特定领域的知识和语言习惯，从而提高模型在该领域的准确率。

3、持续训练：对于金融等领域，需要持续地将大量的语料喂给大模型，以提高模型的精准度和回答金融问题的能力。

4、提供语料开发工具：开发语料开发工具，帮助企业整理和清洗语料，将其转化为适合大模型训练的格式，从而提高模型的准确率。

5、结合多种方法：可以将以上几种方法结合起来使用，如构建外挂知识库的同时，对模型进行微调或持续训练，以进一步提高模型的准确率。

孙元浩比喻道，过去一年一直讲大模型是个“文科生”，因为它能写作、生成；星环的目标是把大模型训练成一个理科生，希望它能做数学分析，能够懂自然科学的各个领域、各个学科。通过星环科技AI Infra工具，企业能够准确、高效地将拥有的多种来源的多模语料转换为高质量的专业领域知识，让企业构筑知识壁垒。

deepseek提示词 DeepSeek高质量提示词大全

豆包AI生成的日报周报太简单_提供具体的数据指标并要求AI进行深入的对比分析

Ai一键文生图哪个软件好用_Ai一键文生图优质软件推荐【盘点】

AI生成产品众筹页面的项目介绍

deepseek完整指令手册 DeepSeek指令全攻略

相关专题

什么是分布式

分布式是一种计算和数据处理的方式，将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容，供大家免费下载体验。

329

2023.08.11

分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容，供大家免费下载体验。

235

2023.10.07

硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍：1、IDE接口是一种并行接口，主要用于连接硬盘和光驱等设备，它主要有两种类型：ATA和ATAPI，IDE接口已经逐渐被SATA接口；2、SATA接口是一种串行接口，相较于IDE接口，它具有更高的传输速度、更低的功耗和更小的体积；3、SCSI接口等等。

1133

2023.10.19

PHP接口编写教程

本专题整合了PHP接口编写教程，阅读专题下面的文章了解更多详细内容。

213

2025.10.17

php8.4实现接口限流的教程

PHP8.4本身不内置限流功能，需借助Redis（令牌桶）或Swoole（漏桶）实现；文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

1805

2025.12.29

java接口相关教程

本专题整合了java接口相关内容，阅读专题下面的文章了解更多详细内容。

2026.01.19

数据库三范式

数据库三范式是一种设计规范，用于规范化关系型数据库中的数据结构，它通过消除冗余数据、提高数据库性能和数据一致性，提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

358

2023.06.29

如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构，作用包括：1、释放存储空间；2、确保数据的安全性；3、提高数据库的整体性能，加速查询和操作的执行速度。尽管删除数据库具有一些好处，但在执行任何删除操作之前，务必谨慎操作，并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构，无法回滚。

2082

2023.08.14