清华朱军团队新作:使用4位整数训练Transformer,比FP16快2.2倍,提速35.1%,加速AGI到来!
将激活、权重和梯度量化为4位,有望加速神经网络训练。然而,现有的4位训练方法需要自定义数字格式,而现代硬件不支持这种格式。最近,清华朱军团队提出了一种使用INT4算法实现所有矩阵乘法的Transformer训练方法。使用超低INT4精度进行训练,是非常具有挑战性的。为了实现这一目标,研究者仔细分析了Transformer中激活和梯度的具体结构,为它们提出专用的量化器。对于前向传播,研究者确定了异常值的挑战,并提出了Hadamard量化器来抑制异常值。对于后向传播,他们通过提出位分割,来利用梯度的
一家 380 亿美元的数据巨头,要掀起企业「AI 化」革命
作者|宛辰、LiYuan编辑|靖宇当地时间6月28日,美国知名数据平台Databricks举办了自己的年度大会——数据与人工智能峰会。会上,Databricks公布了LakehouseIQ、LakehouseAI、DatabricksMarketplace、LakehouseApps等一系列重要新品。无论是从峰会的名称,还是新产品的命名,都能看出这家知名数据平台,正在趁着大语言模型的东风,加速向AI转变的脚步。Databricks公司CEOAliGhodsi所说的数据和AI普惠化|Databri
2023.07.03 17:22:33
V社回应拒绝上架含 AI 生成内容的游戏:审核政策正在调整中
IT之家7月2日消息,IT之家此前报道,一些使用人工智能(AI)技术制作的游戏在Steam平台上被禁止发行,原因是开发者没有获得所有必要的版权。对此,Steam平台的运营商Valve公司回应称,他们正在学习和适应AI技术在游戏开发中的应用,并尝试将其纳入现有的审核政策中。Valve在给IGN的一份声明中表示,他们一直致力于发行尽可能多的游戏,但是AI技术的引入有时会增加版权问题的复杂性,特别是涉及到训练AI模型所用的数据的合法性。因此,他们要求开发者在提交游戏时,要确保自己拥有足够的权利来发行游
2023.07.03 17:10:07
24小时阅读排行榜
-
1
-
2
-
3
-
4
-
5
-
6
-
7
-
8
-
9
-
10
热门专题
python源码大全
1
2026.02.03
python 解包
1
2026.02.03
Python 序列化
12
2026.02.02
AO3官网入口与中文阅读设置 AO3网页版使用与访问
204
2026.02.02
主流快递单号查询入口 实时物流进度一站式追踪专题
99
2026.02.02
Golang WebAssembly(WASM)开发入门
15
2026.02.02
PHP Swoole 高性能服务开发
16
2026.02.02
苹果官方查询网站 苹果手机正品激活查询入口
545
2026.02.02
拼多多赚钱的5种方法 拼多多赚钱的5种方法
189
2026.02.02
edge浏览器怎样设置主页 edge浏览器自定义设置教程
176
2026.02.02
精选课程
PHP实战天龙八部之微信支付视频教程
共5课时 | 17.3万人学习
PHP实战天龙八部之仿爱奇艺电影网站
共49课时 | 77.9万人学习
前端入门_HTML5
共29课时 | 62.3万人学习
CSS视频教程-玉女心经版
共25课时 | 39.7万人学习
JavaScript极速入门_玉女心经系列
共43课时 | 73.6万人学习
独孤九贱(1)_HTML5视频教程
共25课时 | 62.2万人学习
独孤九贱(2)_CSS视频教程
共22课时 | 23.2万人学习
独孤九贱(3)_JavaScript视频教程
共28课时 | 34.4万人学习
独孤九贱(4)_PHP视频教程
共89课时 | 127万人学习
独孤九贱(5)_ThinkPHP5视频教程
共74课时 | 126.2万人学习
