Scaling Law撞墙？预训练终结？亚马逊云科技为什么还在做基础大模型

花韻仙語

发布时间：2024-12-19 08:31:34

512人浏览过

来源于php中文网

原创

亚马逊云科技在re:invent 2024大会上发布了令人瞩目的nova系列大模型，引发业界热议。此举尤其令人意外，因为亚马逊此前已重金投资anthropic。然而，本文将阐述亚马逊持续投入基础大模型的战略考量，以及其对市场和创业者的深远影响。

BlackBox AI

AI编程助手，智能对话问答助手

下载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

*亚马逊总裁兼CEO安迪·贾西（Andy Jassy）发布了Nova系列模型，包含Micro、Lite、Pro和Premier四个版本，其中后三个为多模态模型。*

尽管亚马逊并非首次发布基础大模型（此前已有Titan系列），但面对“Scaling Law撞墙论”的争议，许多人认为继续投入基础模型训练并不经济。然而，亚马逊云科技显然并未因此止步。从re:Invent大会后的研讨会讨论可见，亚马逊坚信基础大模型潜力巨大，并认为其对自身及AI创业者都具有重要价值。

**“Scaling Law撞墙”并非阻碍，基础大模型仍有巨大潜力**

关于Scaling Law是否撞墙的争论持续不断，直接影响着AI领域的资源分配。然而，目前尚未得出明确结论。亚马逊云科技的Nova系列模型发布，正体现了其对基础大模型前景的乐观态度。亚马逊云科技大中华区产品部总经理陈晓建认为，基础大模型仍处于早期阶段，远未成熟。

Sam Altman和Ilya Sutskever对Scaling Law的不同观点

*OpenAI CEO Sam Altman坚信“没有墙”，而著名研究者Ilya Sutskever则认为“我们所知的预训练将会终结”。*

事实上，亚马逊并非孤例。苹果、微软、谷歌、Meta以及国内的字节跳动、阿里巴巴和腾讯等巨头都在积极布局基础大模型。陈晓建表示，亚马逊内部对发展基础大模型高度一致。

关于Scaling Law撞墙的担忧主要集中在数据方面。有研究预测，以目前的LLM发展速度，到2028年左右，现有数据将被耗尽。Ilya Sutskever也认为数据如同化石燃料，终将枯竭。然而，公共互联网数据并非全部数据。大量未数字化或未公开的数据，如纸质文献、机密数据、物联网数据和行业数据等，依然存在。

*论文《Will we run out of data? Limits of LLM scaling based on human-generated data》*

此外，人类每天都在产生大量新数据，虽然大部分质量不高或重复，但新技术的广泛应用也会创造高质量数据。量子计算、生物技术等新兴领域都可能成为下一代AI的重要数据来源。因此，即使公共互联网数据耗尽，基础大模型的发展也不会停滞。

陈晓建也强调了数据的重要性：“数据资产才是实现业务差异化的关键。” 此外，现有数据是否被充分利用也值得探讨。随着模型规模扩大和编码技术进步，基础大模型或许能从现有数据中挖掘更多价值。利用AI合成高质量数据也是一个重要的探索方向。

*亚马逊云科技开源的利用Amazon Bedrock生成合成数据集的项目架构*

因此，“Scaling Law撞墙论”并不能动摇亚马逊等科技巨头对基础大模型的投入。亚马逊不仅看到了基础模型的当前价值，更看到了未来突破的可能性。

在re:Invent大会上，亚马逊发布了多款与数据相关的产品，包括Kendra Index、结构化数据检索能力、GraphRAG技术、数据增强功能以及升级版的SageMaker。陈晓建表示，这些工具旨在帮助用户更方便地将私有数据与大模型整合。

*下一代Amazon SageMaker概况，来自亚马逊云科技re:Invent 2024*

亚马逊云科技还在积极探索其他技术方向，例如思维链推理能力和Automated Reasoning checks服务，以减少大模型幻觉并提高准确性。

**利己也利创业者：提供市场选择**

亚马逊投入基础大模型首先是为了自身利益。中小企业缺乏资源自主训练大模型，因此To B的大模型市场需求旺盛。亚马逊作为云服务巨头，自然不会错过这一机遇。

*亚马逊云科技继续维持在云市场的领先地位，来自Statista*

对用户，特别是创业者而言，亚马逊的基础模型提供了强有力的替代选项，降低了进入门槛。Nova Pro和Nova Lite等不同规模的模型满足不同需求。对于预算有限的创业公司来说，这是快速部署和创新的解决方案。

*使用Nova Pro执行文档分析示例，来自亚马逊云科技博客*

此外，替代选项也增强了业务安全性和多样性，从而激发创新。亚马逊云科技中国区技术合作伙伴总监李奔也提到了这一点。

亚马逊云科技通过Nova系列为企业用户带来了新的可能性，并推动了市场的良性竞争。从亚马逊自身角度来看，其战略考量还包括：强化云服务生态、数据和技术的长远布局、参与行业标准定义、增强内部服务和产品以及应对竞争压力。

**基础大模型体现了亚马逊的长期主义**

“长期主义”是亚马逊的企业文化。构建基础大模型需要大量资源，亚马逊的持续投入展现了其责任感和前瞻性。Nova系列模型的推出，不仅体现了亚马逊的技术创新，更降低了开发者和企业的进入门槛，为创业公司提供了灵活的替代方案，这正是“长期主义”的体现。

亚马逊云科技在基础大模型道路上的坚持，不仅能巩固自身市场地位，还能帮助更多企业进入AI应用生态，提升市场活力和创造力。这是亚马逊云科技的重要贡献。

AI生成活动现场的即时新闻稿

AI生成包装设计方案，快速验证产品视觉效果

什么是RAG技术？让AI回答问题更精准的秘密

如何用AI进行游戏关卡设计？独立游戏开发者指南

DeepSeek如何辅助进行Golang项目的微服务拆分_提供架构图描述并要求AI设计方案

相关专题

物联网有哪些应用

物联网应用有智能家居、智慧城市、工业自动化、农业智能化、物流和供应链管理、医疗健康、智能交通、能源管理、环境监测、智能零售等等。详细介绍：1、智能家居，物联网技术可以将家庭中的各种设备和家居系统连接到互联网，实现智能化的家居控制和管理，例如，通过智能手机可以远程控制家中的照明、温度、安防系统等；2、智慧城市，物联网技术可以应用于城市基础设施和公共服务，实现智慧城市的建设等等。

231

2023.09.05

物联网中的m2m概念

M2M是人与机器连接的手段与方式。想了解更多的相关内容，可以阅读本专题下面的文章。

422

2024.03.12

物联网应用岗位

常见岗位包括：物联网架构师；物联网工程师；数据分析师；云计算工程师；应用程序开发人员；嵌入式系统工程师；网络安全分析师；产品经理；物联网项目经理；业务分析师等等。想了解更多物联网应用的相关内容，可以阅读本专题下面的文章。

405

2024.05.21

俄罗斯Yandex引擎入口

2026年俄罗斯Yandex搜索引擎最新入口汇总，涵盖免登录、多语言支持、无广告视频播放及本地化服务等核心功能。阅读专题下面的文章了解更多详细内容。

165

2026.01.28

包子漫画在线官方入口大全

本合集汇总了包子漫画2026最新官方在线观看入口，涵盖备用域名、正版无广告链接及多端适配地址，助你畅享12700+高清漫画资源。阅读专题下面的文章了解更多详细内容。

2026.01.28

ao3中文版官网地址大全

AO3最新中文版官网入口合集，汇总2026年主站及国内优化镜像链接，支持简体中文界面、无广告阅读与多设备同步。阅读专题下面的文章了解更多详细内容。

2026.01.28

php怎么写接口教程

本合集涵盖PHP接口开发基础、RESTful API设计、数据交互与安全处理等实用教程，助你快速掌握PHP接口编写技巧。阅读专题下面的文章了解更多详细内容。

2026.01.28

php中文乱码如何解决

本文整理了php中文乱码如何解决及解决方法,阅读节专题下面的文章了解更多详细内容。

2026.01.28

Java 消息队列与异步架构实战

本专题系统讲解 Java 在消息队列与异步系统架构中的核心应用，涵盖消息队列基本原理、Kafka 与 RabbitMQ 的使用场景对比、生产者与消费者模型、消息可靠性与顺序性保障、重复消费与幂等处理，以及在高并发系统中的异步解耦设计。通过实战案例，帮助学习者掌握使用 Java 构建高吞吐、高可靠异步消息系统的完整思路。

2026.01.28

热门下载

网站特效

网站源码

网站素材

前端模板