☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
人工智能（AI）在过去十年取得了显著进展，这得益于神经网络规模的扩大和海量数据的训练。大型语言模型（LLM），例如ChatGPT，便是“做大做强”策略的成功案例。
然而，众多权威期刊如《自然》、《麻省理工科技评论》等指出，AI的扩展正遭遇瓶颈。一方面，AI消耗的能源日益增多；另一方面，为AI模型提供养分的传统数据集正被过度利用。
训练数据即将枯竭的警讯已现。研究机构预测，到2028年，AI模型训练数据集的典型规模将与现有公共在线文本总量相当，这意味着AI可能在短短四年内耗尽训练数据。同时，数据所有者（如报社）加强了对内容的版权保护，限制数据访问，加剧了“数据共享”危机。AI开发者必须另寻出路。
数据供需失衡日益严重
过去十年，LLM发展对数据的需求呈爆炸式增长。自2020年以来，用于训练LLM的“标记”（或单词）数量增长了100倍，从数百亿飙升至数万亿。RedPajama等大型数据集包含数万亿个单词，这些数据经处理后成为训练LLM的定制数据集。
然而，互联网可用内容的增长速度远低于预期，年增长率不足10%，而AI训练数据集的规模却每年增长一倍以上。预测显示，这两者将在2028年左右相遇。
此外，越来越多的内容提供商通过软件代码或修改条款来阻止爬虫和AI抓取数据。2023年，明确禁止爬虫访问的内容比例不足3%，而2024年这一比例已激增至20%到33%。
围绕AI训练中数据使用的合法性，多起诉讼正在进行，数据提供商寻求获得合理的经济赔偿。例如，《纽约时报》和多家报纸已对OpenAI和微软提起诉讼，指控其侵犯版权。OpenAI则回应称诉讼“毫无根据”。
如果法院最终支持内容提供商的索赔请求，那么AI开发者，特别是资金有限的研究人员，获取所需数据将变得更加困难。
新的解决方案有待验证
数据匮乏对AI的传统扩展策略构成巨大挑战。
获取更多数据的途径之一是收集非公开数据，例如社交媒体信息或视频转录文本。然而，这种做法的合法性存在争议。
一些公司选择使用自身数据训练AI模型，例如Meta利用虚拟现实头显收集的音频和图像。但各公司政策不一，Zoom等公司明确表示不会使用客户内容训练AI。
另一种选择是专注于快速增长的专业数据集，例如天文学或基因组学数据，但其对训练LLM的适用性和有效性尚不明确。
如果AI能够接受多种类型的数据训练（而非仅限于文本），则可能解决数据匮乏问题。Meta首席AI科学家Yann LeCun指出，人类通过观察学习到的数据量远超用于训练LLM的数据量，类人机器人或许能从中受益。
此外，生成数据也是一种解决方案。一些AI公司付费让人们生成训练内容，或使用AI生成的合成数据。这可能成为巨大的数据来源。然而，合成数据也存在问题，例如可能会巩固错误，放大误解，降低学习质量。
小型化、专业化模型的兴起
另一种策略是放弃“模型越大越好”的理念，转向更高效、专注于单一任务的小型语言模型。这些模型需要更精细、更专业的数据和更先进的训练技术。
OpenAI发布的OpenAI o1模型就是一个例子，它更注重强化学习，让模型对每个回答进行更深入的思考，这标志着一种转变，即从依赖大规模预训练数据集转向更注重训练和推理。
LLM可能已经吸收了互联网大部分内容，或许无需更多数据即可变得更智能。斯坦福大学的研究表明，模型从多次读取相同数据集中学习到的内容，与从相同数量的唯一数据中学习到的内容一样丰富。
合成数据、专业数据集、多次读取和自我反思等方法的结合，或许将共同推动AI的进一步发展。
文章来源：科技日报
