算法论文8
AMD论文:FP4训练不稳非因随机性不足
机器之心
AI 摘要
AMD联合宾州州立大学论文指出,FP4训练不稳定源于结构性微缩放误差,非随机性不足。在原生FP4硬件完成预训练,端到端加速9 - 10%,为低精度训练提供新思路。
阅读原文 · 机器之心
AMD新论文颠覆认知:FP4训练不稳定,原因不是随机性不足
大模型训练成本高,降低训练精度可降成本。AMD联合宾州州立大学论文颠覆认知,揭示FP4训练不稳定源于结构性微缩放误差,非随机性不足,还在原生FP4硬件完成大模型预训练。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
英伟达推 AI 智能体 CPU,消费者或为产能变化买单
2026 年英伟达宣布量产为 AI 智能体打造的 CPU Vera。此前 AI 产业硬件焦虑多围绕 GPU,如今 AI Agent 改变任务形态,CPU 负担加重,芯片厂商纷纷布局,产能变化或让消费者买单。
DeepTech深科技
新闻资讯7
Anthropic营收反超OpenAI,IPO占优
IPO前夕,Anthropic最新年化营收达650亿美元,8个月翻超7倍,反超OpenAI。双方在资本市场竞争激烈,A社在起跑时间、财务、商业模式上占优,但OpenAI用户规模和产品生态占优,目前A社牌面更好。
量子位
新闻资讯8
菲尔兹奖得主:AI数学优势在‘输得起’
OpenAI发布内部版模型Astra的十项成果,引发数学界震动。菲尔兹奖得主Timothy Gowers分析其成果,指出AI优势在‘输得起’,还探讨找例方法、模型短板,给出训练建议与衡量跨越门槛的标准。
新智元
算法论文8
北大等提出 TensorCast,推理首字延迟最高降 93.2%
随着模型规模增长、新应用兴起,大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast,解耦张量状态,复用管理能力,在多场景测试中表现出色,为大模型基建提供新范式。
机器之心