算法论文7
拆解大模型核心操作数学与优化逻辑
腾讯技术工程
AI 摘要
作者认为深度学习易现梯度与溢出问题，神经网络重特征相对差异。LayerNorm和RMSNorm可稳定数据，Softmax转换实数为概率分布，大模型推理优化用数学变换换性能。
阅读原文 · 腾讯技术工程
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯7
Anthropic营收反超OpenAI，IPO占优
IPO前夕，Anthropic最新年化营收达650亿美元，8个月翻超7倍，反超OpenAI。双方在资本市场竞争激烈，A社在起跑时间、财务、商业模式上占优，但OpenAI用户规模和产品生态占优，目前A社牌面更好。
量子位
新闻资讯8
菲尔兹奖得主：AI数学优势在‘输得起’
OpenAI发布内部版模型Astra的十项成果，引发数学界震动。菲尔兹奖得主Timothy Gowers分析其成果，指出AI优势在‘输得起’，还探讨找例方法、模型短板，给出训练建议与衡量跨越门槛的标准。
新智元
算法论文8
北大等提出 TensorCast，推理首字延迟最高降 93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
机器之心
新闻资讯8
Ilya携新模型归来，重新定义AI规模化
掌握内幕的草莓哥爆料，Ilya正构建以TTT为核心的小型推理引擎。他预见传统大模型的死穴，SSI将TTT概念落地，其引擎在数据效率等方面优势明显。SSI获投资，本月或发新模型。
新智元